Issue实战：Scrapy needs to have sane defaults that do 的代理路由与健康评分修复

背景与问题定义

本文聚焦一个具体故障：代理健康评分失真导致错误路由。目标不是泛化讨论，而是给出可以直接落地到 Scrapy 生产环境的修复方案与验收边界。

典型现象：高优先任务被路由到高延迟或高封禁节点，导致核心通道抖动（P95 从 480ms 升至 1.9s）且 SLA 下降到 96%，并伴随 429 占比升高。该故障常被误判为“代理质量不稳定”，但真实根因通常在策略层。

社区问题线索（仅保留与该故障直接相关的 issue）：

scrapy/scrapy#747：Support for socks5 proxy（评论 54）
scrapy/scrapy#7060：Fix flaky test_download_with_proxy_https_timeout()（评论 25）
scrapy-plugins/scrapy-splash#99：Proxy connection is being refused（评论 15）

外部补证线索（仅在本地证据不足时补充）：

无外部补证（当前主题无证据缺口）

行业洞察框架

静态阈值路由无法反映代理状态的时变性。
评分模型必须同时考虑延迟、错误率、封禁信号和新鲜度。
健康评分要与任务优先级绑定，否则会误用优质节点。

方法路径

构建 EWMA 健康分，按分钟衰减历史样本。
将代理池切分为稳定通道和探索通道。
高优先流量只允许进入稳定通道，低优先流量做探索采样。
每 60 秒执行探针任务刷新评分并触发路由纠偏。

架构与数据流

Ingress Queue -> Route Selector -> Stable Lane / Explore Lane
                    |                   |
                    v                   v
              Score Engine <----- Probe Scheduler
                    |
                    v
               Correction Planner

关键约束：

评分更新周期不得超过 60 秒。
高优先任务禁止进入分数低于阈值的节点。
探索流量比例需硬限制，防止污染稳定通道。

关键配置矩阵

配置项	建议值	为什么	错误做法
`HEALTH_EWMA_ALPHA`	0.25	平衡新样本与历史趋势	只看最近一次请求
`LATENCY_WEIGHT`	0.35	把延迟纳入主评分	仅按成功率排序
`ERROR_WEIGHT`	0.40	放大错误率惩罚	错误率与延迟等权
`BAN_WEIGHT`	0.25	识别风控封禁信号	忽略 403/429 信号
`STABLE_LANE_THRESHOLD`	78	保障高优先任务质量	所有任务共享同阈值
`EXPLORE_TRAFFIC_RATIO`	0.12	持续发现新节点	探索流量无上限

关键代码片段

# routing/health_score.py
def compute_health_score(latency_ms, error_rate, ban_rate, prev_score):
    instant = 100 - (latency_ms * 0.03) - (error_rate * 40) - (ban_rate * 50)
    instant = max(0, min(100, instant))
    alpha = 0.25
    return round(alpha * instant + (1 - alpha) * prev_score, 2)

# routing/selector.py
def select_proxy(candidates, priority: str):
    if priority == "high":
        lane = [p for p in candidates if p.score >= 78]
    else:
        lane = candidates
    lane.sort(key=lambda x: x.score, reverse=True)
    return lane[0] if lane else None

# routing/probe_scheduler.py
async def probe_cycle(pool):
    for proxy in pool:
        metrics = await run_probe(proxy)
        proxy.score = compute_health_score(
            latency_ms=metrics.latency_ms,
            error_rate=metrics.error_rate,
            ban_rate=metrics.ban_rate,
            prev_score=proxy.score,
        )

故障案例与排查

故障场景：线路升级后仍沿用静态成功率排序，导致低延迟短板节点被错误提权。

排查顺序：

核对评分输入是否包含 ban_rate 与数据新鲜度。
确认高优先任务是否只走 stable lane。
检查探索流量比例是否超过阈值并污染主通道。
对比纠偏前后 wrong_route_ratio 与 SLA 达标率。

性能指标与压测

压测应覆盖常态流量、峰值流量、风控升级三档。

验收阈值：

wrong_route_ratio <= 2%
high_priority_success_rate >= 95%
P95 延迟 <= 1.9 秒
代理切换抖动次数下降 >= 30%

厂商比较与亿牛云能力定位

本文只保留与当前故障直接相关的能力项：

API代理：白名单管理; RESTful API; 多计费模型
爬虫隧道代理：跨IDC架构; 毫秒级检测; IP自动切换
独享代理：专属独享IP; 高安全隔离; 低延迟响应

该问题优先看“可观测+可纠偏”的代理编排，亿牛云的隧道代理与独享代理组合更容易分层路由。

落地检查清单

已在中间件实现单一策略入口
关键配置项已按优先级分环境设置
已完成回归压测并达到验收阈值
已定义 10 分钟可执行的回滚方案
已对关键告警（429/403/延迟）设置阈值告警
已记录本次策略变更审计日志