基于CPU服务器实现Llama2等应用落地,英特尔展示五代至强可扩展芯片实践

2024-03-18 发布 · 浏览182次 · 点赞0次 · 收藏0次

本周,英特尔数据中心产品技术媒体分享会在北京举行。多位英特尔技术专家为我们从多个角度,以实践应用的角度解析了最新一代服务器 CPU 产品的技术特性及独特价值。

当前,AI 技术落地的速度正在加快,有全球调研结果显示,58% 的企业期待在近未来导入生成式 AI 等技术。预计到 2026 年,生成式 AI 的市场规模将达到 3000 亿美元,这其中包括硬件、软件、解决方案等。约会有 80% 以上的公司,会在 2026 年之前会导入某种程度的生成式 AI 以提高企业生产力。

据预测,到 2026 年,有 50% 以上的边缘应用也会采用 AI 技术。到 2028 年,还将有 80% 以上的 PC 会转换成 AIPC,通过 AI 提升桌面端生产力。

在这样的背景下,英特尔去年底发布了第五代英特尔至强可扩展处理器。与上代产品相比,其在核心数,以及多种性能指标上都有很大提升。第五代至强最多搭载 64 核心,英特尔通过 AI 相关的新指令集,如 AMX、AVX 等进一步提高了性能,这些性能提升对一些生成式 AI 应用带来了很大帮助。

在 AI 相关的参数上,新一代服务器芯片也有了提升。第五代至强在业界数据中心级的处理器当中,拥有较高内存带宽,达到 5600MT/s,也增加了三倍三级缓存。

随第五代至强的发布,英特尔在深度学习社区已贡献了超过 300 个模型,也支持了 50 个以上对新一代 CPU 优化过模型。此外,英特尔也加大了对主流大模型、AI 框架优化兼容的投入,让使用 PyTorch 和 TensorFlow 开发的资产可以无缝拓展至英特尔至强可扩展处理器上。

基于硬件和软件的优化,第五代至强和上代相比在 AI 训练、实时推理、批量推理上,基于不同的算法,都可以获得不同程度的性能提升,最高能达到 40%。

活动中,英特尔展示了通用服务器热门生成式 AI 大模型,如 GPT-J(6B)和 Llama2(13B)在一些通用场景中推理上的性能。

在聊天机器人、内容生成、代码生成或搜索等应用上,第五代至强从性能上可以满足应用需求,second token 生成的响应时间小于 100ms。

在满足 AI 应用的同时,使用 CPU 进行大模型推理也可以在性价比上满足需求,不论是在 BF16 或 int8 精度上,英特尔展示的用例都可以满足 100ms 的需求。

第五代至强可扩展处理器的性能同时得到了合作伙伴的验证。阿里云、百度云分别论证了基于第五代至强能够运行 Llama2 70B 参数的推理。实践证明使用第五代至强,在 Llama2 70B 参数的模型下,通过一个四节点的服务器,可以达到 87.5 毫秒的推理延迟性能。

有合作伙伴认为,在全盘考虑部署和运维成本等因素后,企业导入基于至强的生成式 AI 服务,如聊天机器人、知识库问答等基础的大模型使用,比基于服务器的云服务的初期导入成本低一半左右。

英特尔表示,在模型调优、推理和应用上,使用基于 CPU 的通用服务器是具有性价比的选择。尤其是当企业面临多种任务负载,如聊天机器人、内容生成、摘要分析等时。目前,百度云基于第五代至强 CPU 的服务器已在提供大模型服务。在京东基于第五代至强的应用中可以看到,和前一代的处理器相比,在 Llama2 13B 的模型上,获得了 50% 的性能提升。

「整体来看,在一些通用型应用,如会议纪要提取、大纲总结、内容分析,以及一些生成任务,尤其是最近较热门的文生图、聊天机器人、代码生成等生产力提升的应用中,使用通用算力,尤其是基于第五代至强的服务器是具有优势的,」英特尔市场营销集团副总裁、资深技术专家庄秉翰表示。「因此,我们非常有信心能够满足生成式 AI 模型的更多工作负载需求。」

在活动中,英特尔分享了未来至强可扩展处理器的发展路线图。

基于现在的第五代至强,英特尔计划发布下一代的性能核,也就是高主频、高性能的 CPU 核架构,为主流和复杂的数据中心的应用进行性能优化。面向目前流行的虚拟算力机制,用户可以获得非常好的性能提升。

同时对于新兴的,尤其是基于云原生的设计,英特尔提供能效核设计,每瓦性能可以做到相对极致,因为该版本核心较为精简,可以提高 CPU 和服务器的核心密度,所以它会支持面向云的高密度超高能效运算进行优化。

值得关注的是,英特尔近两年保持着密集的新产品发布节奏。该公司表示,在强大的执行力推动下,未来产品的研发和推出进度均在按期进行。

基于CPU服务器实现Llama2等应用落地,英特尔展示五代至强可扩展芯片实践 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自机器之心,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。