独家 | 生成式AI的设计模式：一份周全的指南_模子_措辞

2024-11-16 07:42:55 AI简讯

作者：Vincent Koc翻译：高翊之校正：陈超

独家 | 生成式AI的设计模式：一份周全的指南_模子_措辞 AI简讯

本文约3000字，建议阅读6分钟

利用大措辞模型（LLM’s）的参考架构模式和心智模型。

标签：天生式AI设计模式

AI模式的需求

在创建新事物的时候，我们都会依赖经由考试测验考验的方法、途经和模式。
这个说法适用于软件工程领域，但对付天生式AI和人工智能来说可能并非如此。
对付像天生式AI等新兴技能，我们缺少充分记录的模式来支持我们的办理办法。

在这里，基于我对大措辞模型无数次生产实现的评估，我将分享一些天生式AI的方法和模式。
这些模式是为了帮助缓解和战胜天生式AI实现过程中的一些寻衅，比如本钱、延迟和“幻觉”。

模式名录

1. 分层缓存策略带来的模型微调

2. 专家小组——多路复用的AI代理

3. 多任务下的大措辞模型微调

4. 规则导向与天生模型的领悟

5. 利用知识图谱的大措辞模型

6. AI代理群

7. 可组合的模块化大措辞模型

8. 大措辞模型的影象认知构建

9. “红蓝”双模型的协作评估

1）分层缓存策略带来的模型微调

这里为大措辞模型引入缓存策略时，我们是为办理本钱、冗余和演习数据上的组合问题。

通过缓存初始结果，系统可以在后续查询中更迅速地给予回答，提高效率。
当我们有足足数据后，微调层开始发挥浸染，利用早期交互的反馈，优化为更专用的模型。

这个专用的模型不仅精简了流程，而且将AI的专长适应于特定的任务，使其在客户做事和个性化内容创造等这些精确度温柔应性至关主要的环境中更高效。

对付入门来说，可以利用GPTCache等预构建的工具，或者利用Redis, Apache Cassandra, Memcached等常用缓存数据库自己构建。
在添加额外做事的时候，确保要监控和丈量延时。

2）专家小组——多路复用的AI代理

想象一个生态系统，个中有多个专注于特界说务的天生式AI模型（“代理”）。
每一个都是其领域内的专家，并行事情来处理一次讯问。
这种多路复用的策略带来了多样化的相应，紧接着被整合以供应一个全面的答案。

这样的设置最适宜于办理繁芜问题，个中问题的不同方面须要不同的专业知识。
它就像是一个专家团队，各自办理更大问题的个中一个方面。

这个模式用一个更大的模型，如GPT-4，来理解语境。
它将其拆分成特定的任务或信息要求，来通报给较小的代理。
代理可以是较小的措辞模型，如Phi-2或TinyLlama。
它们被演习完成特界说务，访问特定工具。
代理也可以是如GPT, Llama等有着个性特色、语境提示词和函数调用的通用模型。

3）多任务下的大措辞模型微调

这里我们同时对大措辞模型进行多任务而非单任务微调。
这种方法促进了跨领域间的知识技能稳定迁移，增强了模型的通用性。

这种多任务学习对须要高能力胜任各种任务的平台尤其有用，比如虚拟助手或AI赋能的研究工具。
它可能有助于简化繁芜领域内演习、测试的事情流。

演习大措辞模型的一些资源和包包括DeepSpeed, 以及Hugging Face上Transformer库的演习功能。

4）规则导向与天生模型的领悟

一些现存的商业系统和组织运用在一定程度上仍是基于规则的。
通过领悟天生特性与基于规则逻辑的构造化精度，这种模式旨在提出具有创造性且符合规范的办理方案。

对付产出要严格遵照标准或规定的行业而言，这是一种强大的策略。
它确保AI在空想参数范围内的同时，仍能具有创造和吸引力。
一个很好的例子是，它可以为基于规则的电话交互式语音应答系统（IVR系统）、或传统谈天机器人（不基于大措辞模型），天生用户要求的回应和信息流。

5) 利用知识图谱的大措辞模型

将知识图谱领悟到大措辞模型给予了它们以事实为导向的“超能力”，使输出不仅能感知高下文，而且更加符合事实。

这种方法在内容须要无条件真实准确的运用中非常主要，比如说教诲内容创作，医疗建议或是任何缺点信息会带来严重后果的领域。

知识图谱和图本体论（图的一组观点）将繁芜的主题和组织问题拆解成构造化的格式，帮助大措辞模型得到深入的高下文。
你也可以利用措辞模型天生JSON或RDF格式的图本体，这里是我为你们创建的示例提示。

可用于知识图谱的工具包括图形数据库，如ArangoDB、Amazon Neptune、Azure Cosmos DB和Neo4j。
还有更广泛的数据集和做事用以访问更广泛知识图谱的工具，包括Google Enterprise Knowledge Graph API、PyKEEN Datasets和Wikidata。

6） AI代理群

受自然界中虫群畜群的启示，这个模型利用大量的AI代理共同办理问题，每方贡献独特的视角。

终极聚合成的输出结果反响了一种集体聪慧的形式，超越了任何单个代理能达到的水平。
在须要多样的创造性办理方案、或是处理繁芜数据集的时候，这种模式尤为有利。

运用模型的例子可以是从多个“专家”视角来审阅一篇研究论文，或是一次性在多个用例中（从敲诈到报价）评估客户的互动。
我们利用这些代理，并整合输出。
对付大规模的群，你可以支配如Apache Kafka等信息做事，来处理代理和做事间的通报。

7）可组合的模块化大措辞模型

这个设计强调适应性，采取模块化的AI系统，可以为了最优任务表现进行动态重新配置。
它就像有一把瑞士军刀，个中每一个模件都可以依需选择性地激活。
这使得它在须要为不同顾客互动和产品需求定制方案的企业中非常高效。

你可以支配各种自主代理框架和架构来开拓每个代理及其工具。
示例框架包括CrewAI、Langchain、Microsoft Autogen和SuperAGI。

对付一个发卖的模块化整体，设置的代理可以分别专注于开拓潜在客户、处理预订、天生以及更新数据库。
如果专业的AI公司在未来供应了特定的做事，你可以针对给定的一组任务或特定领域的问题，用外部或第三方做事更换某个模块。

8）大措辞模型的影象认知构建

这种方法为AI引入了一个类似人类影象的成分，使模型能够回顾，并基于之前的交互构建更风雅的相应。

它对付持续的对话或是学习情境很有帮助，由于AI随着韶光深化理解，很像一位专注的私人助理或者适应性的学习平台。
随着韶光推移，这种影象认知的方法可通过总结、存储关键的事宜以及谈论发展成一个矢量数据库。

为了掌握总结的打算量，你可以权衡利用如spaCy等更小的NLP库，或在处理大量数据时利用BART措辞模型。
所用数据库是基于矢量的，并利用了相似性搜索来定位关键“事实”，以在提示词阶段检索短期影象。
如果对一个可行的办理方案感兴趣，可以看一个采纳了相似模式的开源办理方法MemGPT。