Node.js 经典隧道代理:phantomjs / casperjs / request(历史参考)
phantomjs、casperjs、request 三个历史工具对接爬虫代理。
Blog
围绕代理 IP、数据采集、安全合规和工程稳定性,分享可复用的实践文章。
phantomjs、casperjs、request 三个历史工具对接爬虫代理。
pip install 开始,三行代码提取网页正文、标题、作者和发布日期。
Agent 在浏览器里跑了 50 步,中间出错了,你只看到最后一步的报错。没有操作流水、没有 DOM 快照回放、没有决策链路由。
指纹解决你是谁,代理解决你在哪里。两者协同是绕过现代反爬系统的必要条件。
LLM 在 15 分钟内无法完成表单填写。选择器连续失败超过门限。Token 消耗超过预期 3 倍。AI 失败不是会不会发生的问题,是何时发生的问题。
Docker 一键部署 Browser Profile Manager,创建和管理指纹浏览器集群,绑定独立代理。
不是"A 任务用脚本,B 任务用 AI"——而是同一个任务的前三步用脚本,第四步出错了自动切换到 AI,处理完再交回脚本。
一个参数开启鼠标轨迹、键盘节奏和滚动模式的人性化模拟,绕过行为检测。
Page.goto 用 AI 去调用的成本是用脚本的 20 倍以上。Login 流程交给 AI 往往比脚本慢 3-5 倍。不是所有操作都适合大模型。
固定指纹种子、持久化 Cookie/Session、绕过 incognito 检测,让反爬系统认为你是回访用户。