摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日讯摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。
时哲AI已完成其基于摩尔线程酷爱(KUAE)千卡智能计算集群的70亿参数大模型的高强度训练和测试。
整个训练过程用时一周,训练效率达到预期,充分展示了快鹅千卡智能计算集群作为国产全功能GPU千卡及千亿训练平台的能力和优势。
时哲AI成立于2020年,核心模型团队来自清华大学。拥有多年的技术研发和模型算法自研能力。基于智普AI开源基地,打造了聚焦全学科的大教育模式,包括数学、物理等19个学科。
自公测以来,师者AI已经拥有超过2.5万用户,支持30个以上学科知识、2000本以上教材。
随着大教育模型的快速迭代,摩尔线程和师者AI也将开展大模型推理的适配工作。
摩尔线程跨e解决方案是业界首个运行在国内大型机型的千卡集群。基于全功能MTT S4000 GPU,提供软硬件一体化的全栈解决方案,具有模型覆盖、推理加速、CUDA兼容、断点续传训练、分布式训练、集群可靠性等8大核心能力。
Moore Thread拥有钱卡集群公布的大模型训练和推送相关成果:
- 率先接入无问核穹,适配无问Infini-AI大模型开发与服务平台,完成LLama2 700亿参数大模型训练与测试,完成MT-infini-3B 3B(30亿参数)大规模模型实训
- 鱼人科技70亿参数大语言模型YuRen-7b的训练和测试
- 汉厚集团7B、34B、70B不同参数级别大模型的分布式训练
- 大型企业模型Deepexi v1.0 的训练和推理适配