RAG+AI工作流+Agent：LLM框架该若何选择周全比拟MaxKB、Dify等_模子_庞杂
官方网址：https://maxkb.cn/
1.1 简介开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、RAG（检索增强天生），智能问答交互体验好；无缝嵌入：支持零编码快速嵌入到第三方业务系统，让已有系统快速拥有智能问答能力，提高用户满意度；
技能栈前端：Vue.js、logicflow后端：Python / DjangoLangchain：Langchain向量数据库：PostgreSQL / pgvector大模型：Ollama、Azure OpenAI、OpenAI、通义千问、Kimi、百度千帆大模型、讯飞星火、Gemini、DeepSeek等。2.Dify
Dify 是一款开源的大措辞模型(LLM) 运用开拓平台。它领悟了后端即做事（Backend as Service）和 LLMOps 的理念，使开拓者可以快速搭建生产级的天生式 AI 运用。纵然你是非技能职员，也能参与到 AI 运用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 运用所需的关键技能栈，包括对数百个模型的支持、直不雅观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵巧的流程编排，并同时供应了一套易用的界面和 API。这为开拓者节省了许多重复造轮子的韶光，使其可以专注在创新和业务需求上
官网：https://dify.ai/zhgithub：https://github.com/langgenius/dify?tab=readme-ov-file2.1 简介
Dify 是一个开源的 LLM 运用开拓平台。其直不雅观的界面结合了 AI 事情流、RAG 管道、Agent、模型管理、可不雅观测性功能等，让您可以快速从原型莅临盆。以下是其核心功能列表：
事情流: 在画布上构建和测试功能强大的 AI 事情流程，利用以下所有功能以及更多功能。全面的模型支持: 与数百种专有/开源 LLMs 以及数十种推理供应商和自托管办理方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。Prompt IDE: 用于制作提示、比较模型性能以及向基于谈天的运用程序添加其他功能（如文本转语音）的直不雅观界面。RAG Pipeline: 广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。Agent 智能体: 您可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。Dify 为 AI Agent 供应了50多种内置工具，如谷歌搜索、DELL·E、Stable Diffusion 和 WolframAlpha 等。LLMOps: 随韶光监视和剖析运用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。后端即做事: 所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。2.2 系统框架事情流利过将繁芜的任务分解成较小的步骤（节点）降落系统繁芜度，减少了对提示词技能和模型推理能力的依赖，提高了 LLM 运用面向繁芜任务的性能，提升了系统的可阐明性、稳定性和容错性。
Dify 事情流分为两种类型：
Chatflow：面向对话类情景，包括客户做事、语义搜索、以及其他须要在构建相应时进行多步逻辑的对话式运用程序。Workflow：面向自动化和批处理情景，适宜高质量翻译、数据剖析、内容天生、电子邮件自动化等运用程序。为办理自然措辞输入中用户意图识别的繁芜性，Chatflow 供应了问题理解类节点。相对付 Workflow 增加了 Chatbot 特性的支持，如：对话历史（Memory）、标注回答、Answer 节点等。
为办理自动化和批处理情景中繁芜业务逻辑，事情流供应了丰富的逻辑节点，如代码节点、IF/ELSE 节点、模板转换、迭代节点等，除此之外也将供应定时和事宜触发的能力，方便构建自动化流程。
常见案例客户做事：通过将 LLM 集成到您的客户做事系统中，您可以自动化回答常见问题，减轻支持团队的事情包袱。 LLM 可以理解客户查询的高下文和意图，并实时天生有帮助且准确的回答。内容天生：无论您须要创建博客文章、产品描述还是营销材料，LLM 都可以通过天生高质量内容来帮助您。只需供应一个大纲或主题，LLM将利用其广泛的知识库来制作引人入胜、信息丰富且构造良好的内容。任务自动化：可以与各种任务管理系统集成，如 Trello、Slack、Lark、以自动化项目和任务管理。通过利用自然措辞处理，LLM 可以理解和解释用户输入，创建任务，更新状态和分配优先级，无需手动干预。数据剖析和报告：可以用于剖析大型数据集并天生报告或择要。通过供应干系信息给 LLM，它可以识别趋势、模式和洞察力，将原始数据转化为可操作的智能。对付希望做出数据驱动决策的企业来说，这尤其有代价。邮件自动化处理：LLM 可以用于起草电子邮件、社交媒体更新和其他形式的沟通。通过供应简要的大纲或关键要点，LLM 可以天生一个构造良好、连贯且与高下文干系的信息。这样可以节省大量韶光，并确保您的回答清晰和专业。3.FastGPTFastGPT是一个功能强大的平台，专注于知识库演习和自动化事情流程的编排。它供应了一个大略易用的可视化界面，支持自动数据预处理和基于Flow模块的事情流编排。FastGPT支持创建RAG系统，供应自动化事情流程等功能，使得构建和利用RAG系统变得大略，无需编写繁芜代码。
官方：https://fastgpt.in/github：https://github.com/labring/FastGPT3.1 FastGPT 能力专属 AI 客服 ：通过导入文档或已有问答对进行演习，让 AI 模型能根据你的文档以交互式对话办法回答问题。多库复用，混用chunk 记录修正和删除源文件存储支持手动输入，直接分段，QA 拆分导入支持 ***，md，html，pdf，docx，pptx，csv，xlsx (有须要更多可 PR file loader)支持 url 读取、CSV 批量导入稠浊检索 & 重排大略易用的可视化界面 ：FastGPT 采取直不雅观的可视化界面设计，为各种运用处景供应了丰富实用的功能。通过简洁易懂的操作步骤，可以轻松完成 AI 客服的创建和演习流程。自动数据预处理：供应手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入路子，个中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为高下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割，节省手动演习韶光，提升效能。事情流编排 ：基于 Flow 模块的事情流编排，可以帮助你设计更加繁芜的问答流程。例如查询数据库、查询库存、预约实验室等。供应大略单纯模式，无需操作编排事情流编排工具调用插件 - 事情流封装能力Code sandbox强大的 API 集成：FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入现有的 GPT 运用，也可以轻松集成到企业微信、公众年夜众号、飞书等平台。4.RagFlowRAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人供应一套精简的 RAG 事情流程，结合大措辞模型（LLM）针对用户各种不同的繁芜格式数据供应可靠的问答以及有理有据的引用。
官网：https://ragflow.io/
Github：https://github.com/infiniflow/ragflow/blob/main
4.1 功能先容"Quality in, quality out"基于深度文档理解，能够从各种繁芜格式的非构造化数据中提取真知灼见。真正在无限高下文（token）的场景下快速完成大海捞针测试。基于模板的文本切片不仅仅是智能，更主要的是可控可阐明。多种文本模板可供选择有理有据、最大程度降落幻觉（hallucination）文本切片过程可视化，支持手动调度。有理有据：答案供应关键引用的快照并支持追根溯源。兼容各种异构数据源支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、*** 文件、图片、PDF、影印件、复印件、构造化数据、网页等。全程无忧、自动化的 RAG 事情流全面优化的 RAG 事情流可以支持从个人运用乃至超大型企业的各种生态系统。大措辞模型 LLM 以及向量模型均支持配置。基于多路召回、领悟重排序。供应易用的 API，可以轻松集成到各种企业系统。最近更新功能2024-07-23 支持解析音频文件.2024-07-21 支持更多的大模型供应商(LocalAI/OpenRouter/StepFun/Nvidia).2024-07-18 在Graph中支持算子：Wikipedia，PubMed，Baidu和Duckduckgo.2024-07-08 支持 Agentic RAG: 基于 Graph 的事情流。4.2 系统架构
5.Anything-LLMAnythingLLM是一个全栈运用程序，您可以利用现成的商业大措辞模型或盛行的开源大措辞模型，再结合向量数据库办理方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您供应的任何文档智能谈天。
AnythingLLM将您的文档划分为称为workspaces (事情区)的工具。事情区的功能类似于线程，同时增加了文档的容器化，。事情区可以共享文档，但事情区之间的内容不会相互关扰或污染，因此您可以保持每个事情区的高下文清晰。
官方：https://anythingllm.com/
github：https://github.com/Mintplex-Labs/anything-llm
AnythingLLM的一些特性多用户实例支持和权限管理事情区内的智能体Agent（浏览网页、运行代码等）为您的网站定制的可嵌入谈天窗口支持多种文档类型（PDF、***、DOCX等）通过大略的用户界面管理向量数据库中的文档两种对话模式：谈天和查询。谈天模式保留先前的对话记录。查询模式则是是针对您的文档做大略问答谈天中会供应所引用的相应文档内容100%云支配就绪。“支配你自己的LLM模型”。管理超大文档时高效、低耗。只须要一次就可以嵌入（Embedding)一个弘大的文档或笔墨记录。比其他文档谈天机器人办理方案节省90%的本钱。全套的开拓职员API，用于自定义集成！
支持的 LLM、嵌入模型和向量数据库LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。技能概览全体项目设计为单线程构造，紧张由三部分组成:网络器、前端和做事器。collector：Python 工具，可快速将在线资源或本地文档转换为 LLM 可用格式。frontend：ViteJS + React 前端，用于创建和管理 LLM 可利用的所有内容。server：NodeJS + Express 做事器，处理所有向量数据库管理和 LLM 交互。
更多框架推举参考下述文章：LLM框架、RAG框架、Agent框架
LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推举海内大模型+Agent运用案例精选，以及主流Agent框架开源项目推举6.1 DB-GPT: 用私有化LLM技能定义数据库下一代交互办法DB-GPT是一个开源的AI原生数据运用开拓框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。
目的是构建大模型领域的根本举动步伐，通过开拓多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体事情流编排)等多种技能能力，让环绕数据库构建大模型运用更大略，更方便。
数据3.0 时期，基于模型、数据库，企业/开拓者可以用更少的代码搭建自己的专属运用。
github：https://github.com/eosphoros-ai/DB-GPT6.1.1 架构方案核心能力紧张有以下几个部分:RAG(Retrieval Augmented Generation)，RAG是当着落地实践最多，也是最急迫的领域，DB-GPT目前已经实现了一套基于RAG的框架，用户可以基于DB-GPT的RAG能力构建知识类运用。GBI：天生式BI是DB-GPT项目的核心能力之一，为构建企业报表剖析、业务洞察供应根本的数智化技能保障。微调框架: 模型微调是任何一个企业在垂直、细分领域落地不可或缺的能力，DB-GPT供应了完全的微调框架，实现与DB-GPT项目的无缝打通，在最近的微调中，基于spider的准确率已经做到了82.5%数据驱动的Multi-Agents框架: DB-GPT供应了数据驱动的自进化Multi-Agents框架，目标是可以持续基于数据做决策与实行。数据工厂: 数据工厂紧张是在大模型时期，做可信知识、数据的洗濯加工。数据源: 对接各种数据源，实现生产业务数据无缝对接到DB-GPT核心能力。6.1.2 RAG生产落地实践架构6.2 Langchain-Chatchatgithub:https://github.com/chatchat-space/Langchain-Chatchat项目支持市情上主流的开源 LLM、 Embedding 模型与向量数据库，可实现全部利用开源模型离线私有支配。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各种模型及模型 API 的接入。
事理如下图所示:过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为高下文和问题一起添加到 prompt中 -> 提交给 LLM天生回答。
7. 总结（选择建议）
在选择AI运用开拓平台时，理解不同平台的功能、社区支持以及支配便捷性是非常主要的。
7.0 利害势选择MaxKB/Dify的上风与劣势上风大模型接入灵巧性：供应了多种大模型接入办法，支持多种API接口，使得开拓者可以根据需求灵巧选择和切换模型，这对付须要高性能模型的运用处景尤为主要。强大的Chat功能：Chat功能不仅支持多轮对话，还能通过智能推举和高下文理解提升用户体验，适用于须要繁芜交互的场景。丰富的知识库支持：内置了知识库管理系统，支持多种数据格式的导入和导出，便于用户管理和利用知识资源。高效的Workflow设计：Workflow设计简洁直不雅观，支持拖拽式操作，使得非技能职员也能快速上手，大大降落了利用门槛。Prompt IDE：供应的Prompt IDE工具，让开发者可以更直不雅观地调试和优化提示词，提升了开拓效率。劣势学习曲线：虽然界面设计较为友好，但对付初学者来说，仍须要一定韶光来熟习其事情流程和功能。社区支持：相较于一些成熟的开拓平台，社区生动度和资源丰富度还有待提升，这可能会影响到开拓者在碰着问题时的办理速率。定制化程度：虽然Dify供应了丰富的功能，但在某些高度定制化的需求上，可能还须要进一步的开拓和调度。FastGPT/RagFlow的上风与劣势上风Agent智能体：Agent智能体功能强大，能够自动实行繁芜任务，减少了人工干预的需求，适用于须要自动化处理大量任务的场景。LLMOps支持：供应了LLMOps支持，使得开拓者可以更方便地进行模型演习、优化和支配，这对付AI模型的持续迭代和优化至关主要。后端即做事：供应了后端即做事的功能，简化了后端开拓流程，使得开拓者可以更专注于前端和业务逻辑的开拓。强大的RAG引擎：RAG引擎能够高效地处理和检索大量数据，适用于须要快速相应和高吞吐量的运用处景。劣势功能繁芜性：FastGPT的功能较为繁芜，对付初学者来说，可能须要较永劫光来节制其利用方法和技巧。支配难度：相较于一些轻量级的开拓平台，FastGPT的支配过程可能更为繁芜，须要一定的技能背景和履历。用户界面：虽然FastGPT的功能强大，但其用户界面可能不如一些竞争对手直不雅观和友好，这可能会影响到用户的利用体验。7.1 根据需求选择平台选择得当的平台首先要明确自己的需求。Dify和FastGPT各有特点，适用于不同的运用处景。
MaxKB/Dify：适宜须要快速构建和支配AI运用的开拓者，供应了丰富的预设模板和集成工具，使得开拓者可以快速上手，尤其适宜初学者和须要快速验证想法的团队。FastGPT/RagFlow：适宜须要高度定制化和繁芜事情流的企业级用户，供应了强大的RAG引擎和Workflow orchestration，能够处理繁芜的业务逻辑和数据处理需求。在选择平台时，应考虑以下成分：项目规模：如果是小型项目或初创团队，MaxKB/Dify的快速支配和大略易用性可能更适宜。如果是大型企业级项目，FastGPT/RagFlow的强大功能和定制化能力更为得当。技能栈：考虑团队现有的技能栈和成员的技能背景。在技能实现上有所不同，选择与团队技能栈匹配的平台可以减少学习本钱和开拓难度。功能需求：明确项目所需的核心功能，如大模型接入、Chat功能、知识库等。Dify和FastGPT在这些功能上各有上风，根据详细需求进行选择。7.2 社区与支持比拟社区支持和资源丰富度对付平台的选择也至关主要。
MaxKB/Dify：拥有一个生动的社区，供应了丰富的文档、教程和示例代码。社区成员常常分享利用心得和解决方案，对付碰着的问题可以快速得到帮助。FastGPT/RagFlow：社区相对较小，但供应了专业的技能支持团队。对付企业级用户，FastGPT供应了定制化的技能支持和咨询做事，确保项目的顺利进行。在选择平台时，应考虑以下成分：社区生动度：生动的社区意味着更多的资源和更快的办理问题速率。社区生动度较高，适宜须要快速办理问题的开拓者。技能支持：对付企业级用户，专业的技能支持至关主要。供应了专业的技能支持，适宜对技能支持有较高哀求的用户。7.3 支配与利用便捷性支配和利用的便捷性直接影响开拓效率和本钱。
MaxKB/Dify：供应了大略易用的界面和一键支配功能，使得开拓者可以快速将运用支配到云端或本地。文档详细，适宜初学者快速上手。FastGPT/RagFlow：支配相对繁芜，须要一定的技能背景和配置。供应了强大的定制化能力，适宜对性能和功能有较高哀求的用户。在选择平台时，应考虑以下成分：支配难度：MaxKB/Dify的支配过程大略，适宜须要快速支配的开拓者。FastGPT/RagFlow的支配相对繁芜，但供应了更多的配置选项。利用便捷性：MaxKB/Dify的用户界面友好，操作大略。FastGPT/RagFlow的用户界面相对繁芜，但供应了更多的功能和定制化选项。更多优质内容请关注公号：汀丶人工智能；会供应一些干系的资源和优质文章，免费获取阅读。
更多优质内容请关注CSDN：汀丶人工智能；会供应一些干系的资源和优质文章，免费获取阅读。
本文系作者个人观点，不代表本站立场，转载请注明出处！
