Sora究竟有多烧钱?Sora的推理与训练的计算成本被扒出来了(日语soleil什么意思)

AIGC动态欢迎阅读

原标题:Sora究竟有多烧钱?Sora的推理与训练的计算成本

被扒出来了

关键字:报告,模型,视频,盈亏

,成本

文章来源:大数据文摘

内容字数:5113字

内容摘要:

大数据文摘授权转载自夕小瑶科技说作者:Zicy

Sora一经发布,世界再次被AI的力量所震撼。要知道Runway、Pika等明星模型都还在突破几秒内的连贯性的时候,Sora已经可以直接生成长达60s的一镜到底视频。

大家对Sora的更进一步信息和细节都非常好奇,但遗憾的是,OpenAI

并未公布它的技术细节,而只有一份简单的技术报告。

今天我们就来扒一扒网上对Sora训练和推理的估算,看看Sora惊艳效果背后的算力究竟是如何的惊人。▲Sora生成的视频效果

从DiT到Sora在Sora的技术报告中,作者提到Sora的设计很大程度上受到了《Scalable Diffusion Models with Transformers》论文的影响,这篇论文中提到的模型DiT是用于图像生成的,Sora将这项工作扩展到了视频生成。

我们先来看看DiT模型,最大的DiT模型DiT-XL具有675M参数,需要次浮点运算进行训练。为了使这个数字更容易理解,这相当于大约一台H100运行12天。下面是对Sora所需的计算量做一个估算:

1、DiT只对图像进行建模,但Sora是视频模型,我们假设Sora在把图片变成

原文链接:Sora究竟有多烧钱?Sora的推理与训练的计算成本被扒出来了

联系作者

文章来源:大数据文摘

作者微信:BigDataDigest

作者简介:普及数据思维,传播数据文化

0
分享到:
没有账号? 忘记密码?