LLaMa 3或将推迟到7月发布,剑指GPT-4,从Gemini吸取教训

2024-03-01 发布 · 浏览46次 · 点赞0次 · 收藏0次
LLaMa 3 正寻找安全与可用性的新平衡点。

过去的图像生成模型常被人们诟病人物主要以「白人」为主,而谷歌 Gemini 正在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差,让用户们瞠目结舌。谷歌表示,该模型变得比开发者预期的更加谨慎。这不仅体现在生成图片的问题上,还体现在常常将一些提示认作敏感提示,从而拒绝回答。

在此事不断发酵时,这项安全与可用性如何平衡的难题也给 Meta 提出了巨大挑战。LLaMA 2 是开源领域的「强中手」,更是 Meta 的招牌模型,一经发布即改变了大模型格局。现在,Meta 正在积极筹备 LLaMa 3,不过这得先解决 LLaMA 2 的遗留问题:回答有争议问题时表现过于保守。

图片

在安全与可用性之间寻求平衡

Meta 在 Llama 2 中添加了防护措施,防止 LLM 回答各种有争议的问题。这种保守性虽然在处理极端情况时是必要的,如暴力或非法活动相关的查询,但同时也限制了模型在回答较为普通但稍带争议的问题上的能力。据 The Information 报道,当其想 LLaMA 2 提出「员工如何在强制到办公室的日子里避免进办公室」的问题时,会被拒绝提供建议,或是获得「尊重并遵守公司的政策和指导方针非常重要」。LLaMA 2 还拒绝提供如何恶作剧朋友、赢得战争或破坏汽车引擎的答案。这种保守的回答方式是为了避免公关灾难的发生。

不过,据透露,Meta 的高级领导层和一些参与模型工作的研究人员认为 LLaMA 2 的回答过于「打安全牌」。Meta 正在努力让即将推出的 LLaMA 3 模型在提供回答时能够更加灵活,提供更多上下文信息,而不是直接拒绝回答。研究人员正在尝试让 LLaMA 3 能够与用户有更多互动,更好地理解用户可能表达的含义。据悉, 新版本的模型将能更好地分辨一个词的多重含义。例如,LLaMA 3 可能会明白,关于如何破坏汽车引擎的问题是指如何熄火,而不是对其进行损毁。The Information 的报道中提到,Meta 还计划在未来几周内任命一名内部人员负责语气和安全培训,这也是该公司努力使模型回答更加细致入微的一部分。

这样的平衡点不只是 Meta 与谷歌需要攻克的难题,它显然对很多科技巨头造成了程度不一的影响。既要打造人人想用、人人能用、事事好用的产品,又要在此基础上维持生成结果可靠的安全性,这是科技公司在跟进 AI 技术时必须面对的问题之一。

LLaMa 3 的更多信息

LLaMa 3 的发布万众瞩目,Meta 计划在 7 月份对其发布,但时间仍有可能发生变化。Meta 首席执行官马克・扎克伯格野心勃勃,曾说到「虽然 Llama 2 不是行业领先的模型,但却是最好的开源模型。对于 LLaMa 3 及其之后的模型,我们的目标是打造成为 SOTA,并最终成为行业领先的模型。」

图片

                      原文地址:https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/

Meta 希望 LLaMa 3 能够赶上 OpenAI 的 GPT-4。Meta 公司工作人员透露,目前还没有决定  LLaMa 3 是否将是多模态的,是否能够理解并生成文本和图像,因为研究人员还没有开始对模型进行微调。不过, LLaMa 预计将拥有超过 140 亿个参数,这将大大超过 LLaMa 2,预示着其在处理复杂查询方面的能力将得到显著提升。

除了管够的 35 万块 H100 和数百亿美元,人才也是 LLaMa 3 训练的「必需品」。Meta 通过其生成式 AI 小组开发 LLaMa,该小组与其基础 AI 研究团队是分开的。负责 LLaMa 2 和 3 安全的研究员 Louis Martin 于 2 月离开了公司。领导强化学习的 Kevin Stone 也在本月离开。这会不会对 LLaMa 3 的训练产生影响尚不可知。LLaMa 3 是否能够把握好安全与可用性的平衡,在代码能力等方面给我们新的惊艳,我们拭目以待。

参考链接:

https://www.theinformation.com/articles/meta-wants-llama-3-to-handle-contentious-questions-as-google-grapples-with-gemini-backlash?rc=ks2jbm

LLaMa 3或将推迟到7月发布,剑指GPT-4,从Gemini吸取教训 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自机器之心,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。