AI 推理测试:英特尔 Arc Pro B70 显卡吞吐最高 2320.76 token/s,超英伟达 RTX 5090D

浏览25次 点赞0次 收藏0次

7 月 9 日消息,科技媒体 Wccftech 昨日(7 月 8 日)发布博文,报道称显卡厂商蓝戟(GUNNIR)测试英特尔 Arc Pro B70 GPU,在 DeepSeek R1 模型推理表现上超过英伟达的 RTX 5090D 和 RTX 4090D 显卡。

测试环境均为 4 张显卡配置,主要对比英特尔 Arc Pro B70 32GB、英伟达 RTX 5090D 32GB 与 RTX 4090D 24GB 三款显卡的 AI LLM 大语言模型推理性能表现。

测试模型为 DeepSeek R1-Distill Qwen 32B FP16,该模型固定输入 / 输出长度为 128 个 tokens,涵盖了从 1 到 512 的完整上下文并发范围,测试的核心指标为 token/s 吞吐量,用于衡量大语言模型推理时的输出效率。

在并发低于 32 时,RTX 5090D 位居前列,RTX 4090D 排名第二,Arc Pro B70 表现媲美 RTX 4090D;到并发 32 和 64 时,Arc Pro B70 已能追平并超过 RTX 4090D。

当并发达到 128 时,Arc Pro B70 的 token 吞吐量比 RTX 5090D 高 8.6%,比 RTX 4090D 高 34.2%。当并发达到 256 时,Arc Pro B70 比 RTX 5090D 高 7.5%,比 RTX 4090D 高 48.7%。在并发 512 时也观察到相近表现。附上相关图片如下:

A bar chart titled 'DeepSeek-R1-Distill-Qwen-32B FP16' shows that the 5090D 32G * 4 configuration has the highest performance across various concurrency levels, peaking at 2320.76 tokens/s.

A bar chart titled 'DeepSeek-R1-Distill-Qwen-32B FP16 Token 128' shows that B70 32G * 4 performs best at parallelism level 512 with a score of 2312.67 TOKENS/s.

英特尔 Arc Pro B70 GPU 在 Tokens 吞吐量方面表现最为出色,速度高达每秒 2320.76 个 Token。

A bar chart titled 'DeepSeek-R1-Distill-Qwen-32B FP16' shows the B70 32G * 4 outperforming the 4090D 24G * 4 in token throughput at higher concurrency levels.

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯