Anthropic 开源神经网络追踪工具，可生成归因图直观展示 AI 模型处理提示词具体过程

6 月 2 日消息，Anthropic 公司现已正式开源了其新一代的神经网络追踪（Circuit Tracing）工具，旨在帮助研究人员深入解析大模型的内部推理机制。

据悉，该工具可生成一系列“归因图（Attribution Graphs）”以展示 AI 模型处理提示词的具体过程，便于开发者进一步观察、微调模型。

此外，Anthropic 还与 Decode Research 团队合作推出了 Neuronpedia 前端平台，用户可以在网页上直接与相应归因图进行互动。平台还提供了“示例笔记本”，展示如 Gemma-2-2b 和 Llama-3.2-1b 等模型的内部运作方式，鼓励用户尝试各种提示词，比较不同模型的具体行为。

Anthropic 公司首席执行官 Dario Amodei 指出，大模型的“可解释性”已成为业界共同关注的课题，这套神经网络追踪工具将促进社区参与度，有助于开发者加快对大模型行为逻辑的理解。