0门槛免费商用!孟子3-13B大模型正式开源,万亿token数据训练(孟子《孟子》)

AIGC动态欢迎阅读

原标题:0门槛免费商用!孟子3-13B大模型

正式开源,万亿token数据训练

关键字:模型,峰会,语料,能力,范围内

文章来源:量子位

内容字数:4046字

内容摘要:

白交 发自 凹非寺量子位 | 公众号 QbitAI澜舟科技官宣:孟子3-13B大模型正式开源!

这一主打高性价比的轻量化大模型,面向学术研究完全开放,并支持免费商用。

在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中,孟子3-13B都表现出了不错的性能。

尤其在参数量20B以内的轻量化大模型领域,在中英文语言能力方面尤为突出,数学和编程能力也位于前列。

△以上结果基于5-shot。据介绍,孟子3-13B大模型是基于Llama架构,数据集规模高达3T Tokens。

语料精选自网页、百科、社交、媒体、新闻,以及高质量的开源数据集。通过在万亿tokens上进行多语言语料的继续训练,模型的中文能力突出并且兼顾多语言能力。

孟子3-13B大模型开源只需两步,就能使用孟子3-13B大模型了。

首先进行环境配置。

pipinstall-rrequirements.txt

然后快速开始。

importtorchfromtransformersimportAutoModelForCausalLM,AutoTokenizertokenizer=AutoTokenizer.from_pret

原文链接:0门槛免费商用!孟子3-13B大模型正式开源,万亿token数据训练

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?