摩尔线程千卡GPU集群！憨侯完成700亿参数大模型训练
快科技讯5月17日摩尔线程、憨猴科技集团联合宣布，基于摩尔线程的夸娥（KUAE）千卡智算集群，憨猴集团成功完成了7B、34B、70B不同参数量级的大模型分布式训练。
经过双方严格测试，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。
这充分验证了快鹅智能计算集群作为国产全功能GPU千卡、千亿大模型预训练平台在稳定性、高性能、易用性和高算力利用率方面的先进性。
这也是汉厚集团首次利用国产AI算力完成大规模模型训练和测试。未来可以为其服务的国企、运营商等重点领域提供更加扎实可靠的国产人工智能培训平台，以及更具性价比的国产算力。强制解决方案。
同时，摩尔线程与憨猴集团签署了战略合作协议。
双方将聚焦AI大模型和算力领域，通过摩尔线程的夸鹅钱卡智能计算集群与汉厚集团AI的深度融合，共同探索国产AI算力新的应用场景和实施实践。智能计算产品和数字解决方案。加快数字智能产业全面升级。
此前，摩尔线程已成为国内首家接入无文核穹并成功完成千级大规模模型训练的GPU公司。配置，完成LLama2 700亿参数大模型的训练和测试。
“快鹅”集群基于双通道八卡GPU服务器MCCX D800。每个节点有8个MTT S4000 GPU加速卡、2个Intel第四代Xeon处理器、16 x 64GB内存和4 x 3.84TB NVMe SSD。以及双通道400Gb IB和四通道25Gb以太网的一体化交付，解决大规模GPU算力的建设和运营管理问题。
夸娥是中国神话传说中的一位强大的神。出自《愚公移山》：“皇帝感其诚意，命夸娥的两个儿子搬了两座山，一座在朔东，一座在雍南。从此，在汉冀南，殷无长歇。”
