突发:马斯克Grok开源!(马斯克最新净资产)

AIGC动态欢迎阅读

原标题:突发:马斯克Grok开源!

关键字:模型,权重,参数,账号,专家

文章来源:智东西

内容字数:2647字

内容摘要:

全球最大开源大模型!马斯克Grok-1参数量3410亿,正式开源。

作者|云鹏

编辑|心缘

6个月掏出3410亿参数自研大模型,马斯克说到做到!

智东西3月18日消息,就在刚刚,马斯克的AI创企xAI正式发布了此前备受期待大模型Grok-1,其参数量达到了3140亿,远超OpenAI

GPT-3.5的1750亿。

这是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。

xAI已经将Grok-1的权重和架构在GitHub上开源。

GitHub地址:https://github.com/xai-org/grok-1?tab=readme-ov-file

目前Grok-1的源权重数据大小大约为300GB。

截至北京时间3月18日上午7时许,Grok-1项目收获了3400颗星。

原文链接:突发:马斯克Grok开源!

联系作者

文章来源:智东西

作者微信:zhidxcom

作者简介:智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。

0
分享到:
没有账号? 忘记密码?