Reader是 Jina AI 推出的一款产品。
当你将任意网址附加到https://r.jina.ai/之后，它可以将任何 URL 转换为 LLM 友好的输入，并免费得到可用于 RAG 系统的构造化输出。

自上个月（确切地说是 4 月 15 日）首次发布以来，环球累计要求量已超过 1800 万个要求，而项目本身也已经得到了 4.5K 个星标。

除了爬取任意 URL 之外，Jina 还发布了另一项功能，即可以利用 https://s.jina.ai/YOUR_SEARCH_QUERY 搜索互联网上的最新知识。
搜索结果包括标题、LLM友好的markdown文本 和注明来源的 URL。

这样就可以为 LLM、智能体和 RAG 系统构建一个全面的办理方案。

LLM Scraper 是一个 TypeScript 库，可通过 LLM 将任何网页转换为构造化数据。
实质上，它利用函数调用将网页转换为构造化数据。

与 Reader 类似，它也是上个月才开源的。
它目前支持本地（GGUF）、OpenAI 和 Groq 谈天模型。
显然，作者正在努力通过 llama.cpp 支持本地 LLM，以降落利用 LLM 进行网络爬取的本钱。

Firecrawl是一个 API 做事，可将 URL 转换为简洁、格式良好的markdown文本。
这种格式非常适宜 LLM 运用程序，它供应了一种构造化而又灵巧的办法来表示网页内容。

该工具专为 LLM 工程师、数据科学家、人工智能研究职员和开拓职员量身定制，他们希望利用网络数据来演习机器学习模型、进行市场研究和内容聚合。
它简化了数据准备过程，使专业职员能够专注于洞察力和模型开拓，您还可以根据自己的喜好自行托管它。

ScrapeGraphAI是一个 Python 库，它利用 LLM 和直接图逻辑来创建网站和本地文档（XML、HTML、JSON 等）的爬取管道。
利用 ScrapeGraphAI，您可以准确指定要提取的数据类型。

ScrapegraphAI 充分利用了 LLM 的强大功能，因此可以适应网站构造的变革，减少了开拓职员不断干预的须要。
这种灵巧性确保了纵然网站布局发生变革，爬虫也能保持正常运行。

它目前支持的 LLM 包括 GPT、Gemini、Groq、Azure、Hugging Face 以及本地模型。

有什么是 LangChain 做不到的？[网络爬虫]也能做(https://python.langchain.com/v0.1/docs/use_cases/web_scraping/)。

网络爬虫的最大寻衅之一是网站的布局和内容不断变革，这就须要修正脚本以适应变革，而 LangChain 还利用了带有提取链的功能（如 OpenAI），这样当网站发生变革时，您就不必不断修正代码了。

如果你正在做研究，只想从《华尔街日报》网站上爬撤消息文章的名称和择要，它就能知足你的需求。

当然，没有放之四海而皆准的网络搜刮工具。
你是喜好传统的老式网络爬虫，还是喜好由 LLM 驱动的网络搜爬虫工具？

英文原文：star-history.com