消费级显卡可用!李开复零一万物发布并开源90亿参数Yi模型,代码数学能力史上最强(github李开复)

AIGC动态欢迎阅读

原标题:消费级显卡可用!李开复零一万物发布并开源90亿参数Yi模型

,代码数学能力史上最强

关键字:腾讯,模型,性能,万物,数据

文章来源:量子位

内容字数:4607字

内容摘要:

丰色 发自 凹非寺量子位 | 公众号 QbitAI李开复旗下AI公司零一万物,又一位大模型选手登场:

90亿参数Yi-9B。

它号称Yi系列中的“理科状元”,“恶补”了代码数学,同时综合能力也没落下。

在一系列类似规模的开源模型(包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等)中,表现最佳。

老规矩,发布即开源,尤其对开发者友好:

Yi-9B(BF 16) 和其量化版 Yi-9B(Int8)都能在消费级显卡上部署。

一块RTX 4090、一块RTX 3090就可以。

深度扩增+多阶段增量训练而成零一万物的Yi家族此前已经发布了Yi-6B和Yi-34B系列。

这两者都是在3.1T token中英文数据上进行的预训练,Yi-9B则在此基础上,增加了0.8T token继续训练而成。

数据的截止日期是2023年6月。

开头提到,Yi-9B最大的进步在于数学和代码,那么这俩能力究竟如何提升呢?

零一万物介绍:

单靠增加数据量并没法达到预期。

靠的是先增加模型大小,在Yi-6B的基础上增至9B,再进行多阶段数据增量训练

原文链接:消费级显卡可用!李开复零一万物发布并开源90亿参数Yi模型,代码数学能力史上最强

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?