Scaling Law 又一次性感了吗？（scaling law deepseek）

AIGC动态欢迎阅读

原标题：Scaling Law 又一次性感了吗？

关键字：解读,模型,报告,数据,性能

文章来源：机器之心

内容字数：5016字

内容摘要：

专题解读

事件：Sora 的出现被认为是 Scaling Law 的又一次成功，这也引起了社区中更多对 Scaling Law 的讨论。

自 OpenAI

发布 Sora，业界对该模型的能力及其所带来的影响和机会讨论不断。虽然 OpenAI 没有放出 Sora 的训练细节，但在其技术报告中又一次强调该公司所拥护的核心理念——Scaling Law。即，支持 Sora 的 Diffusion Transformer 模型同样符合 Scale effectively），随着训练计算量增加，视频质量显著提升。这让 Scaling Law 再次成为人工智能领域的热点话题。

Scaling Law 是什么？

1、针对语言模型的 Scaling Law 来自 OpenAI 2020 年发布的论文，其释义可简要总结为：随着「模型大小」、「数据集大小」、「（用于训练的）计算浮点数」的增加，模型的性能会提高。当不受其他两个因素的制约时，模型性能与每个单独的因素都有幂律关系。

① 模型性能受三个因素共同影响，其中计算量对性能的提升最为显著，其次是模型参数，而数据集大小的影响相对较小。在资源不受限制的情况下

原文链接：Scaling Law 又一次性感了吗？