Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token

快科技9月5日消息，近日，第五代英特尔至强处理器，以优秀的表现通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。借此，英特尔也成为首批通过AISBench大语言模型（LLM）推理性能测试的企业。

在AISBench 2.0测试工具的评测下，第五代英特尔至强处理器在ChatGLM V2-6B（60亿参数）和Llama2-13B（130亿参数）模型上都展现出了优异的性能，可以满足轻量级的需求。值班用户。大规模语言模型的实时推理需求。

测试结果显示，在60亿参数的ChatGLM V2模型通用推理中，当输入输出序列为256时，处理器可达每秒2493 token的性能；当输入输出序列为2048时，性能为每秒926 token。在130亿参数Llama2模型的通用推理中，当输入输出为256时，性能为每秒513个令牌；当输入输出序列为2048时，性能为每秒132个令牌。

AISBench 2.0的测试结果，验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能。还允许客户通过基于Xeon的服务器构建通用AI系统，用于数据预处理、模型推理和部署，从而获得AI性能、效率、准确性和可扩展性的结合。

它还表明，英特尔至强可以为企业提供“开箱即用”的能力，即可以在通用系统上部署一些AI工作负载，从而为客户带来更好的总体拥有成本（TCO）优势。

继续浏览有关 Intel 至强 大模型 的文章

打赏 分享

微信扫一扫：分享

微信里点“发现”，扫一下

二维码便可将本文分享至朋友圈。

• 请小编喝杯咖啡吧！