可替代NVIDIA！摩尔线程GPU千卡集群完成30亿参数大模型实训

快科技讯5月27日摩尔线程、无问芯穹联合宣布，双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训，基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群，以及无问芯穹的AIStudio PaaS平台。

此次训练充分验证了快鹅千卡智能计算集群在大型模型训练场景下的可靠性。也开创了国产大语言模型与国产GPU千卡智能计算集群深度合作的行业新范式。

据悉，这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100，千卡训练和单机相比扩展效率超过90。

目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-eval、MMLU、CMMLU等3个测试集上均实现性能领先。

无文核穹正在构建“M类模型”与“N类芯片”之间的“M x N”中间层产品，实现多种大模型算法在多芯片上的高效统一部署。与Moore Threads Deep达成战略合作。

摩尔线程是国内第一家接入无文核穹并进行千级大模型训练的GPU公司。跨鹅科卡集群已成功与无文Core Dome Infini-AI完成系统级集成适配，完成LLama2 700亿参数。大型模型的训练和测试。

T-infini-3B的训练，则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。

就在日前，汉厚集团还基于摩尔线程的夸鹅大卡集群，成功完成了7B、34B、70B不同参数级别的大型模型的分布式训练。双方还达成战略合作。

经过双方严格测试，兼容性和适应性程度高，训练效率符合预期，准确性满足要求，整个训练过程保持稳定。

继续浏览有关 显卡 摩尔线程 大模型 MTT S4000 无问芯穹 的文章

打赏 分享

微信扫一扫：分享

微信里点“发现”，扫一下

二维码便可将本文分享至朋友圈。

• 请小编喝杯咖啡吧！