Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器(ik分词算法)

AIGC动态欢迎阅读

原标题:Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词

关键字:分词,模型,英语,字符串,算法

文章来源:新智元

内容字数:4859字

内容摘要:

新智元报道编辑:桃子

【新智元导读】果不其然,继放出BPE的GitHub代码后,Karpathy终于上线了「从头构建GPT分词器」的课程,引来大波网友关注。离职OpenAI的技术大神karpathy,终于上线了2小时的AI大课。

——「让我们构建GPT Tokenizer(分词器)」。

其实,早在新课推出两天前,karpathy在更新的GitHub项目中,就预告了这件事。

这个项目是minbpe——专为LLM分词中常用的BPE(字节对编码)算法创建最少、干净以及教育性的代码。

目前,GitHub已经狂揽6.1k星,442个fork。

项目地址:https://github.com/karpathy/minbpe

网友:2小时课程含金量,相当于大学4年不得不说,karpathy新课发布依然吸引了业内一大波学者的关注。

他总是可以把相当复杂的LLM概念,用非常好理解的方式讲出来。

有网友直接取消了晚上的约会,去上课了。

与karpathy的约会之夜。

AI机器学习研究员Sebastian Raschka表示,「我喜欢从头开始的实现,我真的很期待看到这个视频」!

英伟达高级科学家Jim F

原文链接:Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

0
分享到:
没有账号? 忘记密码?