刚刚,Mistral AI最新磁力链放出!8x22B MoE模型,281GB解禁(刚刚 突发6.1级地震 血压正常值)

AIGC动态欢迎阅读

原标题:刚刚,Mistral AI最新磁力链放出!8x22B MoE模型

,281GB解禁

关键字:模型,磁力,上下文,人工智能,性能

文章来源:新智元

内容字数:1398字

内容摘要:

新智元报道编辑:编辑部

【新智元导读】初创团队Mistral AI再次放出一条磁力链,281GB文件解禁了最新的8x22B MoE模型。一条磁力链,Mistral AI又来闷声不响搞事情。

281.24GB文件中,竟是全新8x22B MOE模型!

全新MoE模型共有56层,48个注意力头,8名专家,2名活跃专家。

而且,上下文长度为65k。

网友纷纷表示,Mistral AI一如既往靠一条磁力链,掀起了AI社区热潮。

对此,贾扬清也表示,自己已经迫不及待想看到它和其他SOTA模型的详细对比了!

靠磁力链火遍整个AI社区去年12月,首个磁力链发布后,Mistral AI公开的8x7B的MoE模型收获了不少好评。

基准测试中,8个70亿参数的小模型性能超越了多达700亿参数的Llama 2。

它可以很好地处理32k长度的上下文,支持英语、法语、意大利语、德语和西班牙语,且在代码生成方面表现出强大的性能。

今年2月,最新旗舰版模型Mistral Large问世,性能直接对标GPT-4

不过,这个版本的模型没有开源。

Mistral Large具备卓越的逻辑推理能力,能够处理包括文本理解、

原文链接:刚刚,Mistral AI最新磁力链放出!8x22B MoE模型,281GB解禁

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

0
分享到:
没有账号? 忘记密码?