此类事情在过去可能须要繁芜的设置，而新工具使这项事情变得空前大略。

NVIDIA AI Workbench 可帮忙 AI 开拓者构建自己的 RAG 项目、自定义模型等等，这些功能简化了开拓者的事情流。
该工具是在 COMPUTEX 展会上推出的 RTX AI Toolkit 的一部分，它是一套用于自定义、优化和支配 AI 功能的工具和软件开拓套件。
繁芜的技能任务有可能误导专家并让初学者难以上手，而 AI Workbench 使其繁芜度大大降落。

NVIDIA AI Workbench 是什么？

用户可免费利用 NVIDIA AI Workbench，用户能够在各种 GPU 系统（如条记本电脑和事情站到数据中央和云打算）上开拓、试验、测试 AI 运用和制作 AI 运用原型。
该工具为各种用户跨系统创建、利用和共享 GPU 开拓环境供应了新的方法。

用户只需花几分钟即可轻松安装，在本地或远程机器上启动并运行 AI Workbench。
然后，用户就可以新建项目或从 GitHub 上的示例中复制一个项目。
统统都通过 GitHub 或 GitLab 进行，因此用户可以轻松进行协作和分发事情。
深入理解如何开始利用 AI Workbench。

AI Workbench 如何助力办理 AI 项目的寻衅

开拓 AI 事情负载从一开始就须要手动实行一些常日来说很繁芜的流程。

设置 GPU、更新驱动和管理版本不兼容问题可能会很麻烦。
在不同系统之间复制项目可能须要一遍又一各处重复手动流程。
复制项目时若涌现数据碎片化和版本掌握问题等不一致情形，还可能阻碍协作。
各种设置流程、移动凭据和机密，以及变动环境、数据、模型和文件位置都会限定项目的可移植性。

借助 AI Workbench，数据科学家和开拓者可以更轻松地跨异构平台管理事情和协作。
该工具在开拓流程的各个方面实现了集成和自动化，并具有以下特点：

易于设置：AI Workbench 简化了 GPU 加速的开拓环境的设置流程，让技能知识有限的用户也能操作。
无缝协作：AI Workbench 与 GitHub 和 GitLab 等版本掌握和项目管理工具集成，有助于减少协作时可能产生的不便。
从本地扩展到云端时保持同等性：AI Workbench 确保跨多个环境依然可以保持同等性，支持在本地事情站或 PC 和数据中央或云端之间扩容或缩容。

利用 RAG 处理文档，操作比以往更加顺畅

NVIDIA 供应 Workbench 项目开拓示例，帮忙用户开始利用 AI Workbench。
稠浊式 RAG Workbench 项目便是一个例子：它在本地事情站、PC 或远程系统上运行基于文本的自定义 RAG Web 运用来处理用户的文档。

每个 Workbench 项目都在一个“容器”（即包含运行 AI 运用所需的所有必要组件的软件）中运行。
稠浊式 RAG 示例将主机上的 Gradio 谈天界面前端与容器化 RAG 做事器配对，而后端卖力处理用户要求并在向量数据库和所选的大措辞模型之间传输数据。

该 Workbench 项目支持 NVIDIA GitHub 页面上供应的各种 LLM。
此外，该项目的稠浊特性许可用户选择在何处运行推理。

Workbench 项目让用户可以对开拓环境和代码进行版本掌握。

开拓者可以在主机上运行嵌入模型，并在 Hugging Face 文本天生推理做事器受骗地运行推理，在目标云资源上利用 NVIDIA 推理端点（如 NVIDIA API 目录），或利用自托管微做事（如 NVIDIA NIM 或第三方做事）运行推理。

稠浊式 RAG Workbench 项目还包括：

性能指标：用户可以评估基于 RAG 和非 RAG 的用户查询在每种推理模式中的表现情形。
这些指标包括检索韶光、首 Token 延迟（Time to First Token, TTFT）和 Token 速率（Token Velocity）。

检索透明度：面板会显示精确文本片段（在向量数据库中检索到的语义干系度最高的内容），并且这些片段会被输入到 LLM 中，以提高回答与用户要求的干系度。

相应自定义：用户可以利用各种参数调度相应，例如要天生的最大令牌数、温度和频率惩罚。

您只需在本地系统上安装 AI Workbench，即可开启此项目。
您可将稠浊式 RAG Workbench 项目从 GitHub 带入到用户帐户并复制到本地系统。

如需理解详情，请前往 AI Decoded 用户指南获取更多资源。
此外，社区成员还供应实用的***教程，例如下面来自 Joe Freeman 的教程。

***加载中...

自定义、优化、支配

开拓者常常试图针对特定用例自定义 AI 模型。
微调是一种通过利用额外数据演习模型，进而改变模型的技能，该技能可用于风格迁移或改变模型行为。
AI Workbench 也有助于进行微调。

Llama-factory AI Workbench 项目供应适用于各种模型的 QLoRa（一种可大幅减少内存需求的微调方法），并可通过大略的图形用户界面实现模型量化。
开拓者可以利用公开或自有的数据集来知足其运用的需求。

微调完成后，用户即可对模型进行量化以提高性能并减少显存占用，然后将其支配到原生 Windows 运用进行本地推理或支配到 NVIDIA NIM 进行云推理。
如需理解该项目的完全教程，请在 NVIDIA RTX AI Toolkit 仓库中进行查找。

真正的稠浊式设计：随时随地运行 AI 任务

上述的稠浊式 RAG Workbench 项目在多个方面采取稠浊式设计。
除了供应推理模式选择外，该项目还可以在 NVIDIA RTX 事情站和 GeForce RTX PC 受骗地运行，或扩展到远程云做事器和数据中央。

用户可以在自己选择的系统上运行所有 Workbench 项目，并且不会在设置根本举动步伐方面产生开销。
在 AI Workbench 快速入门指南中查找更多关于微调和自定义的示例息争释。