单个4090可推理，2000亿稀疏大模型「天工MoE」开源（200平的密室）

AIGC动态欢迎阅读

原标题：单个4090可推理，2000亿稀疏大模型「天工

MoE」开源

关键字：报告,模型,切分,参数

,天工

文章来源：机器之心

内容字数：0字

内容摘要：

机器之心发布

机器之心编辑部在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。

6 月 3 日，开源大模型领域又传来重要消息：昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE，在保持性能强劲的同时，大幅降低了推理成本。

Skywork-MoE 基于此前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE 大模型。

让大模型社区更为关注的是，Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请。

模型权重下载地址：

￮ https://huggingface.co/Skywork/Skywork-MoE-ba

原文链接：单个4090可推理，2000亿稀疏大模型「天工MoE」开源