Skymizer 公布 AI 推理解码加速器:单 PCIe AIC 可集成 384GB 内存

浏览16次 点赞0次 收藏0次

5 月 7 日消息,中国台*地区 AI IP 企业 Skymizer 近日发布了其推理解码阶段加速器芯片 HTX301,这款芯片可与负责预填充阶段的 GPU 结合加速推理结果输出,提升算力系统的利用率和整体能效。

了解到,HTX301 基于该企业的 HyperThought 软硬件协同设计平台采用 LISA 语言指令集架构,专注带宽密集型负载

其采用了一种可扩展的设计方案,支持 SoC 与 PCIe AIC 部署形态。后者可在单卡上集成 6 颗 HTX301 芯片与合计 384GB 内存,满足 700B 高参数大模型本地运行的需求同时功耗仅有 240W

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯