Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了(magmasoft官网)

AIGC动态欢迎阅读

原标题:Mamba正式被ICLR拒收!“年度最佳技术原理解读

”却火了

关键字:解读,腾讯,卷积,建模,作者

文章来源:量子位

内容字数:8734字

内容摘要:

丰色 发自 凹非寺量子位 | 公众号 QbitAI悬着的心终于死了:

被尊为Transformer挑战者的Mamba,已正式被ICLR拒绝。

(之前被“初拒”后在学术圈引起轩然大波,转为“待定(Decision Pending)”状态)

但这位“顶流”的热度岂受影响?

这不,一篇关于它的最新通俗解读(作者:Jack Cook,牛津互联网研究院研究员,曾在MIT、英伟达、微软工作),刚刚诞生,还在被网友们疯狂点赞收藏。

有人甚至称它为:

到目前为止的年度最佳(解读)。

咱也不能错过。

以下为原文精华传送:

背景:S4架构Mamba的架构主要基于S4,一种最新的状态空间模型(SSM,state space model)架构。

其主要思想如下:

在较高层次上,S4学习如何通过中间状态 h(t) 将输入x(t) 映射到输出 y(t) 上。

在此,由于SSM被设计于很好地处理连续数据,例如音频、传感器数据和图像,因此x、y、t 是x的函数。

S4通过三个连续参数矩阵A、B和C将它们互联,具体形式表现为以下两个方程(Mamba论文中的1a和1b):

由于在实践中,我们一般都是处理离散数据比如文本,

原文链接:Mamba正式被ICLR拒收!“年度最佳技术原理解读”却火了

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?