为 RAG 构建网页知识库:从内容采集到检索与引用回查
网页已经转成 Markdown,不代表它可以直接用于可靠的回答。检索片段需要有出处,页面更新后旧片段不能继续混在结果里,某页临时失败时也不能顺手删掉上一版内容。 本文从明确的文档 URL 清单开始,用 Crawl4AI 获取页面,按章节整理并分块,写入 SQLite FTS5,再检索返回片段与来源。这里先建立不依赖模型
Blog
当前标签共有 1 篇文章。
网页已经转成 Markdown,不代表它可以直接用于可靠的回答。检索片段需要有出处,页面更新后旧片段不能继续混在结果里,某页临时失败时也不能顺手删掉上一版内容。 本文从明确的文档 URL 清单开始,用 Crawl4AI 获取页面,按章节整理并分块,写入 SQLite FTS5,再检索返回片段与来源。这里先建立不依赖模型