仅需格式转换提升9%数学推理能力,上交开源新对齐方法ReAlign(格式转换工厂怎么用)

AIGC动态欢迎阅读

原标题:仅需格式转换提升9%数学推理能力,上交开源新对齐方法ReAlign

关键字:任务,模型,数据,事实性,腾讯

文章来源:量子位

内容字数:7148字

内容摘要:

Pengfei 投稿量子位 | 公众号 QbitAI大模型对齐新方法,让数学推理能力直接提升9%。

上海交通大学生成式人工智能实验室(GAIR Lab)新成果ReAlign,现已开源。

随着以ChatGPT

为代表的语言大模型的快速发展,研究人员意识到训练数据的质量才是大模型对齐的关键。

然而,目前主流的提示数据质量的方法不是需要大量人工成本(人工构造高质量数据)就是容易遭受大模型幻觉的影响(从蒸馏数据中选择高质量样本)。

ReAlign能以较小的人工成本提升现有数据集的质量,进而提升模型整体对齐能力,包含数学推理能力、回答问题的事实性、回答的可读性。

目前,该项目开源了大量资源:

ReAlign代码(使用方法和步骤均在Github中给出)

ReAlign后的数据集,Github仓库中给出,同时包含huggingface版本。

46个不同任务场景对应的任务描述以及人工构造的回答格式。

用于对指令数据任务分类的分类器以及该分类器的训练数据。

用于事实性(Factuality)评估的NQ数据集及其ground truth。

用于可读性(Readability)和事实性(Factuality)

原文链接:仅需格式转换提升9%数学推理能力,上交开源新对齐方法ReAlign

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?