私密 RAG 预处理

RAG 文档分块器

直接在浏览器中将原始文本或 Markdown 分块为可用于检索的记录。调整块大小和重叠,导出干净的 JSON,并在不上传敏感文档的情况下为嵌入式内容做准备。

100% 本地浏览器执行无需注册兼容 LangChain 的分割向量数据库就绪 JSON

粘贴文本或 Markdown

使用这个无需注册的 AI 文档分块工具来测试文档、支持文章、政策、提示或产品手册的检索设置。

标准化设置:块大小 1000,重叠 150。

块预览和导出

检查每个块,复制单个块,或导出 JSON 以供下游嵌入式作业使用。

还没有块。生成输出以预览 JSON 就绪记录。

隐私优先分块

当合同、内部文档或支持手册无法上传到第三方工具时,请使用客户端 RAG 文档分块器。

LangChain 式分割

运行免费的 LangChain 在线文本分割器,支持分隔符感知分块,比固定字符截断更能保留段落。

向量数据库工作流

在将结果推送到 Pinecone、Milvus、Weaviate、Chroma 或 Supabase Vector 之前,快速为向量数据库摄取分块文本。

Markdown 转 JSON 导出

将 Markdown 转换为结构化块数组,因此该工具还可以作为文档和知识库的 Markdown 转 RAG JSON 格式化器。

如何使用

一个简单的客户端工作流,用于生成可用于检索的块

1

粘贴原始文本或 Markdown

将笔记、手册、README 文件、内部文档或支持内容粘贴到编辑器中。由于这是一个客户端 RAG 文档分块器,您的内容会保留在浏览器本地。

2

配置块大小和重叠

为您的嵌入式工作流选择块大小和重叠值。如果您需要为向量数据库摄取分块文本,800 到 1200 个字符,重叠 100 到 200 个字符是一个实用的起点。

3

生成分隔符感知块

运行一个免费的 LangChain 在线文本分割器,它比粗暴的固定宽度切片更能尊重自然文本边界。这使得该工具可以作为 LLM 上下文窗口分块器实用。

4

导出 JSON 以供您的管道使用

复制或下载结构化的 JSON 输出。您可以使用结果来分割文本以供 Pinecone 使用,分割文本以供 Milvus 使用,或将块馈送到任何自定义嵌入式和检索管道。

案例研究

开发人员如何使用分块来提高检索质量、隐私和成本控制

为向量数据库准备产品手册

一位 AI 工程师需要在将长篇产品手册存储到 Pinecone 之前,为向量数据库摄取分块文本。他们使用浏览器 UI 来调整重叠,导出 JSON,并在编写任何后端摄取作业之前验证检索形状。

更快地迭代块设置
在嵌入之前进行更清晰的检索测试
更少的废弃预处理代码

隐私安全的法律文档预处理

一个法律科技团队需要一个客户端 RAG 文档分块器,因为合同文本不能上传到外部服务。本地执行大大简化了内部审查和合规性批准。

无服务器端上传风险
敏感工作流的信任度更高
内部工具的审批路径更简单

Markdown 知识库格式化

一个支持工程团队将该工具用作内部指南的 Markdown 转 RAG JSON 格式化器。它帮助他们保留段落边界,并以更少的手动清理将文档移入检索管道。

从文档到块 JSON 的转换更快
更好的支持助手基础
摄取前格式清理工作更少

降低提示和上下文成本

一家初创公司将该界面用作 LLM 上下文窗口分块器,以避免将整个入职手册传递到基于 GPT 的工作流中。将内容分解为可搜索的单元可以改善响应基础,同时降低令牌使用量。

API 成本更低
响应时间更快
减少了“中间丢失”的故障

无需账户摩擦即可快速原型设计

一位独立开发者搜索免费的 LangChain 在线文本分割器,但大部分只找到教程。该工具为他们提供了一个实用的浏览器 UI 和无需注册的路径,以便在构建更大的检索应用程序之前进行快速实验。

即时访问,无设置摩擦
更快的原型设计
从探索到生产的清晰桥梁

常见问题解答

什么是客户端 RAG 文档分块器?

客户端 RAG 文档分块器直接在您的浏览器中将长文本分割成更小的单元,以便在不上传到服务器的情况下在检索工作流中使用内容。

这真的是一个免费的 LangChain 在线文本分割器吗?

是的。目标是提供一个基于浏览器的工具,它遵循 LangChain 式的分块行为,而无需创建帐户或进行后端处理。

如何为向量数据库摄取分块文本?

粘贴您的内容,设置块大小和重叠,生成结果,然后导出 JSON。输出易于转换为 Pinecone、Milvus、Weaviate、Chroma 或 Supabase Vector 的嵌入。

我可以使用它作为 Markdown 转 RAG JSON 格式化器吗?

是的。如果您粘贴 Markdown,该工具会分块文本并导出结构化的 JSON,这些 JSON 可以馈送到下游预处理脚本或摄取作业中。

如果模型现在支持更大的窗口,为什么我仍然需要 LLM 上下文窗口分块器?

大上下文窗口仍然很昂贵,并且会降低检索质量。分块可以使上下文保持集中,降低成本,并减少“中间丢失”问题。

这个工具能帮助我为 Pinecone 和 Milvus 分割文本吗?

是的。它通过在嵌入和存储步骤之前将文本准备成稳定的块来帮助您为 Pinecone 分割文本,并为 Milvus 分割文本。

嵌入的最佳块大小是多少?

没有通用的数字,但对于通用文档和支持内容,800 到 1200 个字符,重叠 100 到 200 个字符是一个实用的起点。

基本分割器和在线语义分块生成器之间有什么区别?

基本分割器按固定长度分割。更智能的分块器会尊重段落、换行符和自然边界,因此想法不太可能被分割开。

我需要注册才能使用这个 AI 文档分块工具吗?

不需要。预期的体验是无摩擦且注重隐私的:打开页面,粘贴文本,配置块设置,然后导出。

我的文件会被上传到任何地方吗?

不会。预期的实现是完全本地浏览器执行,符合 Gadegetkit 对开发人员工具的隐私优先方法。