Crawlee 长任务断点续抓：中断后恢复任务并避免重复写入
长任务中最危险的中断窗口，是数据已经写入、请求却还没被队列确认。重启后请求可能再次执行；如果输出只能追加，就会出现重复记录。反过来，先确认请求再写数据，又可能在中断时永久漏掉记录。 本文以两页图书目录为例，把持久请求队列与 SQLite 主键更新组合起来。正文包含一次明确的中断演示开关，用来说明重放为什么应该安全。示例
Blog
标签：Crawlee
当前标签共有 3 篇文章。
Crawlee TypeScript 商品采集教程：分页、详情提取与 JSON 导出
要把商品目录变成一份能使用的数据，至少要解决三个相连的问题：怎样找到所有目标商品，怎样准确读取每个商品的字段，以及怎样知道有没有漏掉数据。只抓到一个页面的标题，离完成这件事还有距离。 本文面向会基本 TypeScript、第一次使用 Crawlee 的开发者。我们用公开的 Books to Scrape 练习站，采集总
从 Scrapy 迁移到 Crawlee Python：保留字段契约，用双跑结果决定切换
迁移爬虫最容易出错的地方，不是把 parse() 换成另一个回调，而是新程序能运行、字段却悄悄变了：价格从金额变成展示字符串，去重键从商品编号变成 URL，失败页面又被当作商品下架。 本教程让 Scrapy 和 Crawlee Python 分别采集 Books to Scrape 的前两页商品，导出相同字段，再按 U