审校 | 重楼

出品 | 51CTO技能栈（微旗子暗记：blog51cto）

在快速发展的技能领域，天生式人工智能是一股革命性的力量，它改变了开拓职员处理繁芜问题和创新的办法。
本文深入磋商了天生式AI的天下，揭示了对每个开拓职员都必不可少的框架和工具。

一、LangChain

图片

LangChain由Harrison Chase开拓，于2022年10月首次亮相，是一个开源平台，旨在构建由大措辞模型（LLM）支持的强大运用程序，如ChatGPT等谈天机器人和各种定制运用程序。

LangChain旨在为数据工程师供应一个全面的工具包，用于在各种用例中利用LLM，包括谈天机器人、自动问答、文本择要等。

图片

上图显示了LangChain处理信息以响运用户提示的步骤。
最初，系统从一个包含大量数据的大文档开始。
然后将该文档分解为更小、更易于管理的块。

这些数据块随后被嵌入到向量中——这个过程将数据转换成一种可以被系统快速有效地检索的格式。
这些向量存储在一个向量存储库中，实质上是一个为处理向量化数据而优化的数据库。

当用户在系统中输入一个提示时，LangChain会查询这个向量存储，以查找与用户的要求密切匹配或干系的信息。
该系统利用大型LLM来理解用户提示的高下文和意图，从而辅导从矢量存储中检索干系信息。

一旦识别出干系信息，LLM就会利用它来天生或完成准确处理查询的答案。
末了一步是用户收到定制的相应，这是系统数据处理和措辞生成功能的输出。

传送门：https://www.langchain.com/

二、SingleStore Notebook

图片

SingleStore Notebook是一个基于Jupyter Notebook的创新工具。
对付那些利用SingleStore的分布式SQL数据库的人来说，它显著增强了数据探索和剖析过程。
它与Jupyter Notebook的集成使其成为数据科学家和专业人士熟习的强大平台。
以下是其紧张功能和优点的总结：

原生SingleStore SQL支持：该特性简化了从Notebook直接查询SingleStore分布式SQL数据库的过程。
它肃清了对繁芜连接字符串的需求，为数据探索和剖析供应了更安全、更直接的方法。
SQL/Python互操作性：这许可SQL查询和Python代码之间的无缝集成。
用户可以在Notebook中实行SQL查询，并直接在Python数据框架中利用结果，反之亦然。
这种互操作性对付有效的数据操作和剖析至关主要。
协作事情流：该Notebook支持共享和协作编辑，使团队成员能够在数据剖析项目上协同事情。
这个特性增强了团队有效地折衷和结合他们的专业知识的能力。
交互式数据可视化：通过支持盛行的数据可视化库（如Matplotlib和Plotly），SingleStore Notebook利用户能够直接在Notebook环境中创建交互式和信息丰富的图表和图形。
这种能力对付须要可视化地传达其创造的数据科学家来说至关主要。
易于利用和学习资源：该平台是用户友好的，有模板和文档来帮助新用户快速入门。
这些资源对付学习Notebook的根本知识和实行繁芜的数据剖析任务是非常宝贵的。
未来的增强和集成：SingleStore团队一贯致力于不断改进Notebook，操持引入导入/导出、代码自动完成和各种场景的Notebook库等功能。
人们还期望bot功能能够促进在SingleStoreDB中编写SQL或Python代码。
简化Python代码集成：未来的目标是更随意马虎在Notebook中创建Python代码原型，并将这些代码作为存储过程集成到数据库中，从而提高系统的整体效率和功能。

SingleStore Notebook是数据专业人士的强大工具，它结合了Jupyter Notebook的多功能性和针对SingleStore SQL数据库的特定增强功能。
它专注于易用性、协作性和交互式数据可视化，以及对未来增强的承诺，使其成为数据科学和机器学习社区的宝贵资源。

利用SingleStore Notebook功能可以免费考试测验不同的教程，如图像识别，图像匹配，以及构建LLM运用程序等。

传送门：https://www.singlestore.com/spaces/

三、LlamaIndex

图片

LlamaIndex是一个高等编排框架，旨在增强像GPT-4这样的LLM的功能。
虽然LLM本身就很强大，由于它们接管过大量公共数据集的演习，但它们每每缺少与私人或特定领域数据进行交互的手段。
LlamaIndex填补了这一缺口，它供应了一种构造化的办法来摄取、组织和利用各种数据源——包括API、数据库和PDF。

通过将这些数据索引为针对LLM优化的格式，LlamaIndex促进了自然措辞查询，利用户能够无缝地与他们的私有数据交互，而无需重新演习模型。
这个框架是通用的，既适宜具有高等API的新手快速设置，也适宜通过低级API寻求深度定制的专家。
从实质上讲，LlamaIndex开释了LLM的全部潜力，使它们更易于访问并适用于个性化数据需求。

LlamaIndex运行事理如下：

LlamaIndex作为一座桥梁，将LLM的强大功能与各种数据源连接起来，从而打开了一个新的运用领域，可以利用自定义数据和高等措辞模型之间的协同浸染。
通过供应数据摄取、索引和自然措辞查询接口的工具，LlamaIndex使开拓职员和企业能够构建强大的、数据增强的运用程序，从而显著增强决策和用户参与度。

图片

LlamaIndex通过一个别系的事情流运行，该事情流从一组文档开始。
最初，这些文档会经历一个加载过程，在这个过程中它们被导入到系统中。
加载后，对数据进行解析，以易于理解的办法剖析和构建内容。
解析后，将对信息进行索引，以便进行最佳检索和存储。

此索引数据安全地存储在标记为“store”的中心存储库中。
当用户或系统希望从该数据存储中检索特定信息时，他们可以发起查询。
作为对查询的相应，干系数据会被提取出来并作为相应交付，相应可能是一组干系文档或从中提取的特定信息。
全体过程展示了LlamaIndex如何有效地管理和检索数据，以确保快速准确地响运用户查询。

传送门：https://www.llamaindex.ai/

四、Llama 2

图片

Llama 2是Meta开拓的最前辈的措辞模型。
它是原始LLaMA的继续者，但在规模、效率和性能方面都实现了增强。
Llama 2模型覆盖范围广（从7B到70B参数），能够适应不同的打算能力和运用。
Llama 2专为谈天机器人集成而定制，在对话用例中表现尤为出色，供应细致而连贯的相应，打破了对话AI所能实现的界线。

Llama 2是利用公开的在线数据进行预演习的。
这涉及到将模型暴露给大量的文本数据语料库，如书本、文章和其他书面内容来源。
这种预演习的目的是帮助模型学习一样平常的措辞模式，并得到对措辞构造的广泛理解。
它还涉及监督微调和从人类反馈（RLHF）中强化学习。

RLHF的一个组成部分是谢绝样本（rejection sampling），它包括从模型中选择一个相应，并根据人类的反馈接管或谢绝它。
RLHF的另一个组成部分是近端策略优化（Proximal Policy Optimization，PPO），它涉及根据人类反馈直接更新模型的策略。
末了，迭代细化确保模型通过监督迭代和改动达到期望的性能水平。

传送门：https://about.fb.com/news/2023/07/llama-2/

五、 Hugging Face

图片

Hugging Face是一个多方面的平台，在人工智能领域发挥着至关主要的浸染，特殊是在自然措辞处理（NLP）和天生式人工智能领域。
它包含各种元素，这些元素协同事情，利用户能够探索、构建和共享人工智能运用程序。
以下是其关键方面的细分:

1.模型中央

Hugging Face拥有一个弘大的预演习模型库，用于各种NLP任务，包括文本分类、问答、翻译和文本天生。

这些模型是在大型数据集上演习的，可以根据特定需求进行微调，使它们易于用于各种目的。

这肃清了用户从头开始演习模型的须要，节省了韶光和资源。

2.数据集

除了模型库之外，Hugging Face还供应了对NLP任务的大量数据集的访问；这些数据集涵盖了各种领域和措辞，为演习和微调模型供应了宝贵的资源；用户也可以贡献自己的数据集，丰富平台的数据资源，促进社区协作。

3.模型演习和微调工具

Hugging Face供应针对特天命据集和任务的演习，以及微调现有模型的工具和功能。

许可用户根据他们的特定需求定制模型，以提高他们在目标运用程序中的性能和准确性。

该平台为培训供应了灵巧的选择，包括在个人机器上进行本地培训，或为大型模型供应基于云的办理方案。

4.运用程序构建

Hugging Face通过与盛行的编程库（如TensorFlow和PyTorch）无缝集成，促进了AI运用程序的开拓。

这许可开拓职员利用预演习模型构建谈天机器人、内容天生式工具和其他人工智能驱动的运用程序。

有许多运用程序模板和教程可用于辅导用户并加速开拓过程。

5.社区与互助

Hugging Face拥有一个充满活力的开拓者、研究职员和人工智能爱好者社区。

该平台通过模型共享、代码库和论坛等特性促进协作。

这种协作环境促进了知识共享，加速了创新，并推动了NLP和天生式人工智能技能的进步。

总之，Hugging Face不仅仅是一个模型存储库，它更是一个涵盖模型、数据集、工具和社区的综合平台，利用户能够轻松探索、构建和共享人工智能运用程序。

传送门：https://huggingface.co/

六、Haystack

图片

Haystack可以被归类为一个端到端框架，用于构建由各种NLP技能驱动的运用程序，包括但不限于天生式人工智能。
虽然它不直接专注于从头开始构建天生式模型，但它为以下方面供应了一个强大的平台：

1.检索增强天生（RAG）

Haystack善于将基于检索和天生的方法结合起来进行搜索和内容创建。
它许可集成各种检索技能，包括矢量搜索和传统的关键字搜索，以检索干系文档进行进一步处理。
然后，这些文档作为天生式模型的输入，产生更集中和高下文干系的输出。

2.不同的NLP组件

Haystack为各种NLP任务供应了一套全面的工具和组件，包括文档预处理、文本择要、问题回答和命名实体识别。
这许可构建结合多种NLP技能来实现特定目标的繁芜管道。

3.灵巧性和开源

Haystack是一个构建盛行的NLP库（如Transformers和Elasticsearch）之上的开源框架。
这许可自定义和与现有工具和事情流的集成，使其适应不同的需求。

4.可扩展性和性能

Haystack旨在有效地处理大型数据集和事情负载。
它集成了强大的矢量数据库，如Pinecone和Milvus，纵然在数百万个文档中也能实现快速准确的搜索和检索。

5.天生式AI集成

Haystack能够与盛行的天生式模型（如GPT-3和BART）无缝集成，这许可用户在基于Haystack的运用程序中利用这些模型的强大功能来完成文本天生、择要和翻译等任务。

虽然Haystack的重点不仅仅是天生式人工智能，但它为构建利用该技能的运用程序供应了坚实的根本。
它在检索、灵巧性和可扩展性方面的综合上风使其成为开拓职员和研究职员探索各种运用中天生式AI潜力的有代价框架。

传送门：https://haystack.deepset.ai/

七、结语

总之，天生式人工智能的前景正在迅速发展，HuggingFace、LangChain、LlamaIndex、Llama2、Haystack和SingleStore Notebooks等框架和工具正引领着这一潮流。
这些技能为开拓职员将人工智能集成到他们的项目中供应了丰富的选择，无论他们是从事自然措辞处理、数据剖析还是繁芜的人工智能运用开拓。

参考链接：

https://dzone.com/articles/6-generative-ai-frameworks-amp-tools-every-develop

来源： 51CTO技能栈