国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑(开源 芯片)

AIGC动态欢迎阅读

原标题:国内首个开源千亿参数MoE大模型

来了!性能超Grok-1,单张GPU可跑

关键字:腾讯,模型,参数,智能,专家

文章来源:智东西

内容字数:4516字

内容摘要:

APUS-xDAN-4.0(MoE)参数规模1360亿,可在消费级显卡4090上运行。

作者|程茜

编辑|心缘

智东西4月2日报道,今天,全球移动互联网公司APUS与大模型创企新旦智能宣布,联手开源国内首个千亿参数的MoE(混合专家模型)APUS-xDAN大模型4.0,这也是国内首个可以在消费级显卡上运行的千亿MoE中英文大模型。

APUS-xDAN-4.0(MoE)参数规模为1360亿,可在消费级显卡4090上运行,据APUS实测,其综合性能超过GPT-3.5,达到GPT-4

的90%。

数学能力上,测评基准GSM8K的测评得分为79,理解能力MMLU达到73分。

项目地址:

https://github.com/shootime2021/APUS-xDAN-4.0-moe?tab=readme-ov-file

推荐智东西年度会议。4月18-19日,2024中国生成式AI大会将在北京举行。免费报名或购票通道开放中,期待你的参会~01.

数学、推理能力碾压

推理成本下降400%

APUS-xDAN-4.0(MoE)在GitHub的页面显示了基准测评结果,其与Mixtral-8x7B(Mo

原文链接:国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑

联系作者

文章来源:智东西

作者微信:zhidxcom

作者简介:智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。

0
分享到:
没有账号? 忘记密码?