揭开Groq LPU神秘面纱:世界最快硬件加速器的底层架构设计!(这可能是最好的加速de神器)

AIGC动态欢迎阅读

原标题:揭开Groq LPU神秘面纱:世界最快硬件

加速器的底层架构设计!

关键字:指令,编译器,硬件,数据流,系统

文章来源:新智元

内容字数:9564字

内容摘要:

新智元报道编辑:alan

【新智元导读】Groq一夜爆火的背后,是自研的语言处理单元硬件LPU,近日,Substack的专栏作家Abhinav Upadhyay为我们一步步揭示了LPU底层架构的奥秘上月底,创业公司Groq的产品一夜爆火。

凭借自研的硬件加速器LPU,达成了500个token/s的神级推理速度,当场秒杀了ChatGPT

Groq提供的响应速度刷新了人们的认知,而这要归功于背后的语言处理单元硬件LPU(language processing unit hardware)。

Groq的研发团队在LPU上应用了创新的硬件架构设计,并配套了强大的编译器。

下面让我们跟随Substack的专栏作家Abhinav Upadhyay一起,一步步揭开Groq LPU底层架构的神秘面纱。

Groq LPU的神秘面纱到目前为止,Groq并没有给出任何关于LPU本身的论文,但在过去几年中,他们发表了下面两篇论文:

论文地址:https://dl.acm.org/doi/10.1109/ISCA45697.2020.00023

论文地址:https://dl.acm.org/doi/abs

原文链接:揭开Groq LPU神秘面纱:世界最快硬件加速器的底层架构设计!

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

0
分享到:
没有账号? 忘记密码?