RAG系统的数据管道设计：从网页抓取到向量存储的全链路

RAG的效果，80%取决于数据管道

RAG（检索增强生成）的原理不复杂：用户提问后，先从知识库中检索相关文档，把检索结果和问题一起交给大模型生成答案。它解决了大模型幻觉和知识过时的问题，是当前企业落地大模型应用的主流方案。

但很多团队搭RAG时把精力放在模型选择和提示词调优上，忽略了真正决定效果的部分——数据管道。RAG的效果上限由知识库质量决定，而知识库质量由数据管道决定：抓取的数据脏，检索就乱；分块策略不对，语义就割裂；向量化质量差，召回就不准。80%的RAG效果问题，根源在数据管道。

这篇文章从工程视角拆解RAG数据管道的完整链路：网页抓取、内容清洗、文本分块、向量化、向量存储、检索优化。

整体管道架构

┌────────────────────────────────────────────────────────┐ │ 第一阶段：网页抓取                                      │ │ 代理IP调度 · 目标源采集 · 增量更新                       │ ├────────────────────────────────────────────────────────┤ │ 第二阶段：内容清洗                                      │ │ 去噪 · 去重 · 编码修复 · 格式标准化                     │ ├────────────────────────────────────────────────────────┤ │ 第三阶段：文本分块                                      │ │ 分块策略 · 重叠设计 · 语义边界识别                      │ ├────────────────────────────────────────────────────────┤ │ 第四阶段：向量化                                        │ │ Embedding模型 · 批量向量化 · 向量质量校验               │ ├────────────────────────────────────────────────────────┤ │ 第五阶段：向量存储                                      │ │ 向量数据库 · 索引构建 · 元数据管理                      │ ├────────────────────────────────────────────────────────┤ │ 第六阶段：检索优化                                      │ │ 混合检索 · 重排序 · 相关性阈值                          │ └────────────────────────────────────────────────────────┘

第一阶段：网页抓取

抓取源选择

RAG知识库的内容来源决定了知识覆盖面。常见的抓取源：

抓取策略

企业知识库的抓取重点是"准确和持续"，不是"海量"。

抓取要点：

优先用官方API（如有），减少页面解析成本遵守robots协议，控制请求频率增量抓取：只抓更新过的页面，用ETag/Last-Modified判断定期全量重抓：官方文档改版后需要重新同步

第二阶段：内容清洗

清洗目标

网页原始HTML中，正文可能只占20%-30%。清洗的目标是把正文剥离出来，去掉导航、广告、模板文字。

清洗流程

清洗质量基准

第三阶段：文本分块

分块是RAG管道中最容易被低估的环节。分块策略直接影响检索质量——块太大，检索结果不够精准；块太小，语义上下文丢失。

分块策略对比

分块参数

重叠设计

相邻分块之间保留10%-20%的重叠文本，避免语义在边界处断裂。例如块大小500 tokens，重叠50-100 tokens。这个设计对"一个概念横跨两个块"的情况至关重要。

第四阶段：向量化

Embedding模型选择

向量化实践

批量向量化：不要在查询时实时向量化，提前离线处理异步管道：抓取→清洗→分块→向量化→入库，异步流水线向量质量校验：抽样检查向量相似度分布，发现异常及时排查版本管理：Embedding模型升级后需要重新向量化全库

第五阶段：向量存储

向量数据库选型

索引与元数据

建立向量索引（HNSW等），控制检索延迟元数据管理：来源URL、抓取时间、语言、标题、分块序号元数据过滤：检索时按来源/时间/语言过滤，提升相关性

第六阶段：检索优化

混合检索

纯向量检索对语义理解好但对关键词精确匹配弱。混合检索（向量+关键词）结合两者优势：

重排序

初检（召回Top 50）后用重排序模型精排（取Top 5），能显著提升相关性。常用的重排序策略：交叉编码器重排（最准）、基于元数据加权（快）。

相关性阈值

设置相关性阈值，低于阈值的检索结果不进入生成环节。这能避免"检索结果太差还硬要生成"导致的幻觉。

全链路质量监控

常见问题

RAG检索结果不准，先查哪个环节？

按顺序排查：先查分块策略（是否语义割裂），再查向量化质量（Embedding是否适配领域），然后查检索（是否用了混合检索、重排序），最后查清洗（知识库中是否混入噪音）。80%的情况是分块或检索环节的问题。

网页抓取用住宅IP还是数据中心IP？

抓取阶段用数据中心代理更快更稳；如果目标网站反爬严格或需要模拟真实用户访问（如部分内容源限制机房IP），改用动态住宅IP（9000万+节点，原生住宅属性）。

分块大小怎么确定？

没有通用最优值，需要测试。建议做法：先用500 tokens的基准值跑一轮，抽样检查检索质量；如果检索结果"太泛"（相关文档多但不精准），减小块大小；如果检索结果"太碎"（语义不完整），增大块大小。文档类知识用段落分块，官方文档用结构化分块（按标题层级）。

向量数据库怎么选？

先看规模：百万级以下用pgvector或Qdrant够用，百万级以上用Milvus。再看需求：需要全文+向量混合检索用Elasticsearch，需要快速原型用Weaviate。建议从简单的开始，规模增长后再迁移。

增量更新怎么设计？

两个机制：抓取层的增量（用ETag/Last-Modified判断页面是否更新）+ 索引层的增量（新向量直接插入，删除的文档异步清理）。定期（如每月）做一次全量重抓和索引重建，保证知识库与源数据一致。

海外代理在中国大陆能用吗？

不能。海外代理产品仅支持在境外网络环境下使用。抓取海外内容源的管道需要部署在境外环境。

总结

RAG系统的效果上限由数据管道决定。从网页抓取、内容清洗、文本分块、向量化到向量存储、检索优化，每个环节都有影响最终检索质量的工程决策：抓取阶段用代理IP保障源数据的完整获取，清洗阶段去掉噪音保障知识纯净，分块阶段用重叠和语义边界保障语义完整，向量化阶段选对Embedding模型保障语义表达，存储阶段建好索引和元数据保障检索效率，检索阶段用混合检索和重排序保障相关性。

原文来自邦阅网 (52by.com) - www.52by.com/article/230657