给爬虫增加数据质量检查：拦住空结果、错字段与异常记录
采集任务返回 200、导出文件也存在，仍可能没有可用数据：页面实际是登录提示，价格字段取到了运费，或者某个分类一夜之间从几百条降到零条。质量检查要回答的是“这批数据能否进入下游”，而不是“程序有没有报异常”。 本文面向已有采集程序、准备把商品数据接入分析或业务系统的团队。我们在下载解析之后、正式入库之前增加一道检查，产
Blog
标签：数据质量
当前标签共有 4 篇文章。
爬虫回归测试实战：在网页改版后发现静默漏采
最难发现的爬虫故障不是异常退出，而是程序正常结束、价格却取成原价，或者列表少了一项。只断言“返回了一个对象”，这类错误仍会通过。 本文围绕一个商品解析器建立回归测试：同一商品在两种布局下价格应一致，缺少当前价时不能退回原价，列表覆盖需要与明确样本比对。所有页面和代码都在正文内；这里教读者编写和运行测试，不需要作者另建测
LLM Scraper 完整教程：从不同网页模板提取统一商品数据
当同一类商品分散在不同网站时，维护多套 CSS 选择器可能比提取本身更费时间。LLM Scraper 可以让模型按同一份字段定义读取不同页面，但模型仍需要完整材料、明确的字段含义和应用侧检查。 本文用三种在正文中提供的商品 HTML 作为输入，提取名称、当前价格、币种和库存状态。它们的布局不同，却表达同样的数据。最终得
Scrapling 实战：网页改版后，自适应定位能恢复多少数据？
原版返回三条正确商品；改类名后只恢复第一条；增加包装层后返回三个没有 ID 的节点。返回数量不能代表采集正确。