从0到1!摩尔线程国产GPU千卡集群点亮新成就
摩尔线程联合无问芯穹宣布,双方已在本周正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。
该模型名为“MT-infini-3B”,已在摩尔线程酷爱(KUAE)千卡智能计算集群和无文核穹AIStudio PaaS平台上完成高效稳定的训练。
此次训练充分验证了快鹅千卡智能计算集群在大型模型训练场景下的可靠性。也开创了国产大语言模型与国产GPU千卡智能计算集群深度合作的行业新范式。
MT-infini-3B模型训练共耗时13.2天。经过精密调试,实现了不间断稳定训练。集群训练稳定性达到100%,千卡训练扩展效率较单机超过90%。
目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-eval,MMLU,CMMLU等3个测试集上均实现性能领先。
无问核穹联合创始人兼CEO夏立学表示:“国产大机型和国产芯片的软硬件协同发展,最终目标是构建成熟的生态系统。无文核穹正在打造‘M机型’与‘N型芯片间’M国产GPU公司合作,‘MT-infini-3B’的训练是业内第一个基于国产GPU实现从0到1的端到端大模型训练的案例筹码。”
摩尔线程创始人兼CEO张建中表示:“无文芯琼在夸鹅钱卡智能计算集群上从无到有的大规模模型训练,不仅是对摩尔线程技术实力的有力认证,也是国内重大的国产闭环模型训练,基于全功能GPU,摩尔线程千卡智能计算集群提供软硬件一体化的全栈解决方案,具有高兼容性、高稳定性等综合优势。以及高可扩展性。我们致力于成为AGI时代大型模型训练的坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。
无文核穹大模型开发与服务平台“无穷Infini-AI”和摩尔线程大模型智能计算千卡集群快鹅已完成系统级集成适配。平台可以灵活调用快鹅的集群能力来完成大型项目。模型训练、微调和推理任务。
未来,双方还将开展更多的适配和测试,推动国内大型模型技术的快速发展和应用普及,为我国人工智能产业的蓬勃发展做出贡献。