agent-browser CI/CD 测试:版本锁定、无头差异与 Flaky Test 处理
Chrome 一次自动更新,CI 全线崩溃。无头模式下 A11y 树的元素顺序和完整渲染不一样。两个测试用例同时跑互相 hijack session。
Blog
围绕代理 IP、数据采集、安全合规和工程稳定性,分享可复用的实践文章。
Chrome 一次自动更新,CI 全线崩溃。无头模式下 A11y 树的元素顺序和完整渲染不一样。两个测试用例同时跑互相 hijack session。
C# HttpClient + HttpWebRequest 对接爬虫代理。
npm install -g agent-browser,一个命令打开浏览器,snapshot 获取页面结构,click/fill 操作元素。
Token 第一,代理第二,计算第三。代理优化不省钱但能降低延迟,计算优化在规模化后有意义。
CloakBrowser 渲染 SPA/JS 页面 → Trafilatura 提取正文。解决「要 JS 渲染的站没法提取正文」的问题。
Rust reqwest + isahc 对接爬虫代理,含 HTTPS Tunnel 限制说明。
一个采集任务:Token 花了 $0.05,代理流量花了 $0.001,服务器摊了 $0.002。Token 才是成本大头。代理和服务器大部分时候便宜得不需要优化。
Ruby Faraday + HTTParty 对接爬虫代理。
自定义提取策略、语言检测、离线批量处理和增量更新策略。
浏览器不是无状态微服务。200-500MB 每个实例、/dev/shm 配置、WebSocket 长连接、HPA 需要业务指标——K8s 上的浏览器集群需要完全不同的设计思路。