当prompt策略遇上分治算法，南加大、微软让大模型炼成「火眼金睛」

AIGC动态欢迎阅读

原标题：当prompt策略遇上分治算法，南加大、微软让大模型

炼成「火眼金睛」

关键字：模型,策略,问题,任务,提示

文章来源：机器之心

内容字数：5747字

内容摘要：

机器之心专栏

机器之心编辑部近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。

然而，在处理涉及重复子任务和 / 或含有欺骗性内容的任务（例如算术计算和段落级别长度的虚假新闻检测）时，现有的提示策略要么受限于表达能力不足，要么会受到幻觉引发的中间错误的影响。

为了使 LLM 更好地分辨并尽可能避免这种中间错误，来自南加州大学、微软的研究者提出了一种基于分治算法的提示策略。这种策略利用分治程序来引导 LLM。论文地址：https://arxiv.org/pdf/2402.05359.pdf

具体来讲，我们将一个大任务的解决过程解耦为三个子过程：子问题划分、子问题求解以及子问题合并。理论分析表明，我们的策略可以赋予 LLM 超越固定深度 Transformer 的表达能力。实验表明，我们提出的方法在受到中间错误和欺骗性内容困扰的任务中（例如大整数乘法、幻觉检测和错误信息检测）可以比经典的提示策略获得更好的性能

原文链接：当prompt策略遇上分治算法，南加大、微软让大模型炼成「火眼金睛」