国产GPU AI训推达到国际水准！摩尔线程已媲美RTX 4090、A100
据快科技6月14日消息，摩尔线程正式宣布将于2024年5月与智浦AI进行新一轮GPU大模型适配和性能测试，包括大模型推理和KUAE千卡智能计算。集群的大型模型预训练。
测试中使用的相关大模型来自智普AI基础大模型及其开源版本。
测试结果显示在推理方面，摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090，其中全部测试用例中优于RTX 3090，在多batch下优于RTX 4090。
在训练方面，摩尔线程夸娥千卡智算集群的训练精度与A100集群相比，误差在1以内，而集群性能扩展系数超过90，模型算力利用率（MFU）与A100集群相当。
这一成果对于中国大模型产品技术生态具有重要意义：
一是技术自主新突破。
ChatGLM预训练在摩尔线程千卡智能计算集群的成功应用，标志着摩尔线程具备了在国家可控算力基础上运行大型模型训练和推理的能力，可以增强技术自主性，保障信息安全。
二是助力打破算力瓶颈。
根据Scaling law，有限的算力供应可能成为制约大型模型发展的关键瓶颈，而全功能的摩尔线程GPU可以提高大型模型的迭代速度和自研水平，助推大型模型在大型模型领域更好的发展。中国。
三是开拓创新空间。
摩尔线程与智普AI卓有成效的适配和测试合作，有利于推动软硬件的深度融合和协同创新。
四是降低运营成本。
摩尔线程先进的AGI算力基础不仅兼容全球主流AI软件生态，节省迁移成本，而且在单位算力总拥有成本上具有明显优势，可有效降低大型企业的研发成本。模型产品。
值得一提的是早在2022年8月，智谱AI就开源了GLM-130B模型，2023年又推出了千亿基座对话模型ChatGLM，以及开源版本的ChatGLM-6B。
近期，摩尔线程陆续宣布与国内AI公司在大模型训练和推理方面进行合作，主要包括：
- 首家接入无问核穹，适配无问Infini-AI大模型开发与服务平台，完成LLama2 700亿参数大模型训练与测试、MT-infini-3B 3B（30亿参数）大模型实施培训
——完成汉厚集团70亿和340亿。 700亿参数大型模型的分布式训练
- 完成大型企业模型Deepexi v1.0 的训练和推理适配
- 完成育人科技70亿参数大语言模型YuRen-7b的训练和测试
- 完成师者AI 70亿参数全学科教育模型高强度训练和测试
