Node.js 高级隧道代理:undici / superagent / https 客户端
undici、superagent、https 原生模块对接爬虫代理。
Blog
围绕代理 IP、数据采集、安全合规和工程稳定性,分享可复用的实践文章。
undici、superagent、https 原生模块对接爬虫代理。
仪表盘上所有指标都是绿色——HTTP 200 率 99.9%、P95 延迟 200ms、无 5xx 错误。但智能体实际上在同一个页面循环了 10 次,什么都没提取到。传统监控看不到这个问题。
phantomjs、casperjs、request 三个历史工具对接爬虫代理。
pip install 开始,三行代码提取网页正文、标题、作者和发布日期。
Agent 在浏览器里跑了 50 步,中间出错了,你只看到最后一步的报错。没有操作流水、没有 DOM 快照回放、没有决策链路由。
指纹解决你是谁,代理解决你在哪里。两者协同是绕过现代反爬系统的必要条件。
LLM 在 15 分钟内无法完成表单填写。选择器连续失败超过门限。Token 消耗超过预期 3 倍。AI 失败不是会不会发生的问题,是何时发生的问题。
Docker 一键部署 Browser Profile Manager,创建和管理指纹浏览器集群,绑定独立代理。
不是"A 任务用脚本,B 任务用 AI"——而是同一个任务的前三步用脚本,第四步出错了自动切换到 AI,处理完再交回脚本。
一个参数开启鼠标轨迹、键盘节奏和滚动模式的人性化模拟,绕过行为检测。