普林斯顿DeepMind用数学证明:LLM不是随机鹦鹉!「规模越大能力越强」有理论根据(普林斯顿体系)

AIGC动态欢迎阅读

原标题:普林斯顿DeepMind用数学证明:LLM不是随机鹦鹉!「规模越大能力

越强」有理论根据

关键字:节点,技能,能力,模型,文本

文章来源:新智元

内容字数:7663字

内容摘要:

新智元报道编辑:拉燕

【新智元导读】普林斯顿大学和DeepMind的科学家用严谨的数学方法证明了大语言模型不是随机鹦鹉,规模越大能力一定越大。今天故事的主角是两位科学家,Sanjeev Arora和Anirudh Goyal。

Arora来自普林斯顿大学,而Goyal则来自谷歌DeepMind。

他们凑到一起,只想探究一个问题。

那就是,LLM,究竟是只会叽叽喳喳学舌的随机鹦鹉,还是真学会了什么,摇身一变成为了具有涌现能力的智能体?

AI先驱Hinton和吴恩达曾经也聊过这个问题,但彼时并没有得出什么明确的结论。

不过Hinton表示,在这个问题的回答上如果我们不能达成共识,那么在AI会产生多大危害这个问题上也不可能达成共识。

而Arora和Goyal的观点是,LLM并不是只会学舌的鹦鹉。具体来说,他们不认为LLM的输出内容只是从海量的训练数据中随机组合而来的。

两个人为此合写了一篇论文。

论文地址:https://arxiv.org/abs/2307.15936

真相则是,经过大量训练,LLM的规模变得越来越大,它们的相关能力会得到切实的提升,并开发出新的能力。

这可不是一般的排列

原文链接:普林斯顿DeepMind用数学证明:LLM不是随机鹦鹉!「规模越大能力越强」有理论根据

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

0
分享到:
没有账号? 忘记密码?