图片由作者利用 Midjourney 创建

要点思维链 （CoT） 提示通过供应分步示例来改进 LM 推理手动创建 CoT 演示须要大量的人力本文磋商了如何利用 LM 本身自动天生 CoT 演示所提出的 Auto-CoT 方法对问题进行聚类，然后对不同的问题进行采样以进行自我提示实验表明，Auto-CoT 与手动创建的 CoT 相匹配，无需人工参与先容

论文“大型措辞模型中的自动思维链提示”磋商了为 GPT-4 等大型措辞模型 （LLM） 创建有效“思维链”（CoT） 提示的自动化方法。
CoT 提示涉及显示 LLM 示例，这些示例演示了从问题到终极答案的分步推理链映射。
这提高了繁芜推理任务的性能。

谈论

然而，目前最好的 CoT 提示结果须要人工手动创建演示，并为每项任务量身定制手工制作的问题和详细的推理步骤。
作者建议通过让 LLM 自动天生自己的 CoT 演示来进行提示，从而肃清这种手动事情。
他们的关键方法称为Auto-CoT，其事情事理是首先根据语义相似性对给界说务的问题进行聚类。
然后，Auto-CoT 对涵盖不同集群的各种问题进行采样。
对付每个抽样问题，Auto-CoT 在零样本模式下利用 LLM 本身来天生从问题到答案的推理链。
它运用大略的启示式方法，根据长度和大略性选择链。

作者在 10 个推理数据集上进行了实验，评估了 Auto-CoT，这些数据集涵盖了算术、知识和符号逻辑问题。
结果表明，Auto-CoT在手动创建演示的根本上，与CoT提示的性能相称或超过CoT提示，无需任何人工操作即可设计演示。
一个关键的见地是，利用基于多样性的抽样而不是基于相似性的检索来选择提示性问题，可以减轻LLM的零样本推剃头生的不完美演示的影响。
Auto-CoT 还大大优于基线，例如检索类似问题或演示的随机抽样。

总的来说，这项事情供应了强有力的证据，证明LLM可以匆匆使自己展示繁芜的多步骤推理。
Auto-CoT 本色上由一个天生各种 CoT 示例的 LLM 组成，另一个 LLM 利用这些示例进行推理。
作者认为，这种自我提示方法可以显著扩展提示技能，并使LLM在繁芜的推理任务上成为更好的小样本学习者。
限定包括潜在的打算本钱和扩展到更不受约束的问题的问题。
但是，自动提示的能力减少了人力和定制需求。

研究问答

Auto-CoT 与其他自动创建提示的方法（如检索增强提示）比较如何？

检索增强提示检索干系数据示例以用于提示，而不是让 LLM 天生演示。
一个关键的差异是，Auto-CoT不须要标记示例的数据集，而是依赖于LLM自己的零样本推理。
检索可能更高效，但须要网络数据。
Auto-CoT 是完备自动化的，但可能会受到不完美演示的影响。

Auto-CoT能否运用于逻辑推理之外的自然措辞天生任务？

聚类和自提示方法彷佛很有希望用于连贯性很主要的构造化程度较低的文本任务。
例如，Auto-CoT可以为创意写作供应写作操持示例，或为对话机器人供应对话插图。
关键的寻衅是定义适当的聚类方法，并演习LLM的零样本天生，以实现高质量的演示。

这项研究有什么创新之处？

关键的创新是利用 LLM 本身来天生用于提示的演示，而不是依赖手动创建。
这使得提示变得更加自动化和任务自适应。
选择不同问题进行自我提示的聚类也具有创新性。

这项研究的更广泛含义是什么？

这项研究可以大大减少设计有效提示所需的人力和专业知识。
它可能使LLM能够更快地从更少的数据中学习新任务，从而增强他们的小样本学习能力。
自我提示方法可以运用于扩展提示技能，如高下文学习。

这项研究有哪些潜在的问题或轻忽，如果有的话？

一个潜在的问题是 Auto-CoT 依赖于基于 Sentence-BERT 的相似性特色的聚类问题。
在语义相似性与推理相似性不一致的任务中，性能可能会受到影响。
与标准提示比较，该方法还可能产生更高的打算本钱。

这项研究的下一个研究步骤是什么？

接下来主要的步骤包括探索Auto-CoT如何扩展到更繁芜和开放式的推理任务，将其与外部知识源的检索集成，以及研究是否可以通过元学习更有效地学习该方法，而不是仅仅依赖预先演习的LLM。
剖析聚类计数、样本量和性能之间的相互浸染也是一个悬而未决的问题。

外卖Auto-CoT 减少了对手工制作演示以提示 LM 的需求Auto-CoT 的自提示由一个 LM 组成，天生不同的示例，另一个 LM 进行推断抽样问题的多样性是战胜不完美的零样本推理链的关键这种方法可以扩展提示技能，使LM成为更好的小样本学习者Auto-CoT 展示了自动化提示以减少人力的承诺后续步骤包括将 Auto-CoT 扩展到更繁芜的推理任务和更大的 LM

Matthew Mayo（@mattmayo13）是一名数据科学家，也是首创性的在线数据科学和机器学习资源KDnuggets的主编。
他的兴趣在于自然措辞处理、算法设计和优化、无监督学习、神经网络和机器学习的自动化方法。
Matthew拥有打算机科学硕士学位和数据挖掘研究生文凭。
您可以通过 kdnuggets[dot]com 的 editor1 与他联系。

原文标题：Automating the Chain of Thought: How AI Can Prompt Itself to Reason

原文链接：https://www.kdnuggets.com/2023/07/automating-chain-of-thought-ai-prompt-itself-reason.html

作者：Matthew Mayo

编译：LCR