Superproxy
一、IP隧道动态标准版Link
1、产品特点Link
- 自营线路稳定可靠带宽高,海量IP资源池。
- 基于Linux自建平台,系统稳定可靠,自动处理代理线路故障。
- 智能代理实时检测器,区别于传统扫描式检测,能做到毫秒级检测,确保用户获取的代理100%网络可用。
- 代理IP隧道技术,通过固定云代理服务地址,自动实现IP毫秒级切换。
- 两种IP切换模式可选:
- 每个HTTP请求自动切换IP (适合每个session单独IP访问)。
- 用户自主切换IP(通过设置HTTP头控制IP切换,适合多个session相同IP连续性访问)。
- 代理IP有效时间20秒或180秒可选。
- 全国10多个自营线路地区。
- 支持HTTP,HTTPS,Socket5。
- 用户认证(通过请求头实现用户名和密码认证)或IP白名单认证。
2、产品报价Link
请求量 | 日 | 周 | 月 | 季度 | 年 |
---|---|---|---|---|---|
5请求 | 15 | 99 | 399 | 1180 | 4620 |
10请求 | 25 | 166 | 660 | 1970 | 7700 |
注意
- 新用户可以测试 5请求1小时(特惠1元)
- 请求数是指每秒新建请求数,并发数是按照IP有效时间进行请求数叠加
二、IP隧道动态加强版Link
1、特点Link
- 自营线路稳定可靠带宽高,海量IP资源池。
- 基于Linux自建平台,系统稳定可靠,自动处理代理线路故障。
- 智能代理实时检测器,区别于传统扫描式检测,能做到毫秒级检测,确保用户获取的代理100%网络可用。
- 代理IP隧道技术,通过固定云代理服务地址,自动实现IP毫秒级切换。
- 两种IP切换模式可选:
- 每个HTTP请求自动切换IP (适合每个session单独IP访问)。
- 用户自主切换IP(通过设置HTTP头控制IP切换,适合多个session相同IP连续性访问)。
- 代理IP有效时间20秒或180秒可选。
- 全国90多个自营线路地区。
- 支持HTTP,HTTPS,Socket5。
- 用户认证(通过请求头实现用户名和密码认证)或IP白名单认证。
2、产品报价Link
请求量 | 日 | 周 | 月 | 季度 | 年 |
---|---|---|---|---|---|
5 | 30 | 210 | 850 | 2500 | 9900 |
10 | 60 | 420 | 1700 | 5000 | 19800 |
20 | 120 | 860 | 3400 | 10000 | 39600 |
40 | 240 | 1680 | 6800 | 20000 | 79200 |
80 | 480 | 3360 | 13600 | 40000 | 158400 |
注意
- 新用户可测试 5请求1小时(特惠3元)
- 请求数是指每秒新建请求数,并发数是按照IP有效时间进行请求数叠加
三、定制版Link
1、特点Link
- 自营线路稳定可靠带宽高,海量IP资源池。
- 基于Linux自建平台,系统稳定可靠。
- 智能代理实时检测器,区别于传统扫描式检测,能做到毫秒级检测,确保用户获取的代理100%可用。
- 代理IP隧道技术,通过固定云代理服务地址,自动实现IP毫秒级切换。
- 定制代理IP地区,可指定单地区、指定多地区、随机分布。
- 定制代理IP使用时长。
- 定制每秒请求数。
- 定制代理IP重复时间。
- 支持HTTP, HTTPS,Socket5。
2、产品报价Link
按需,请联系客服定制需求
四、爬虫隧道代理问答Link
1、与传统API提取代理的区别Link
- 传统API提取式代理,通过URL定时获取代理IP信息,需验证IP的可用性、更换代理设置,同时需要设计多线程异步IO,实现代理IP并发处理,不仅繁琐,而且影响效率。
- “亿牛云爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,极大的提供网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。
2、动态标准版、动态加强版的区别Link
区别
- 标准版的IP分布于全国10多个地区,适合于中小型网站采集
- 加强版的IP分布于全国90多个地区,IP量大适合于大型网站或对IP数 量、质量要求很高的采集任务。
3、动态版的两种IP切换模式有什么区别Link
- 所有模式在IP有效时间到期会强制切换IP,动态版的IP切换模式有2种:
HTTP
每个HTTP请求自动切换,是指爬虫代理为爬虫程序发出的每个HTTP请求随机提供一个代理IP。该模式适合一些需要大量IP的单session爬虫业务。
自主切换
用户自主切换IP,爬虫程序可以通过设置HTTP头Proxy-Tunnel: 随机数
,将不同的请求强制指定为一个代理IP或不同代理IP;该模式适合一些需要登陆(多个session使用相同IP)、Cookie缓存处理等需要精确控制IP切换时机的业务。
4、动态版的20秒代理有效时间和180秒代理有效时间,该如何选择Link
- 20秒代理有效时间更短,但是可以提供的IP数量更多,
- 180秒代理有效时间更长,但是可以提供的IP数量更少
注意
除非业务采集必须,应该选择20秒代理有效时间,提供更多的IP,避免网站反爬策略。
5、用户认证(通过请求头实现用户名和密码认证)Link
- 通过用户名和密码的形式进行身份认证,该认证信息最终会转换为『Proxy-Authorization』协议头跟随请求一起发出,同时支持通过『Authorization』协议头进行隧道身份验证。如用户认证错误,系统会返回401 Unauthorized。 用户认证模式情况下,如果需要使用“代理提取链接(代理提取API)”取代理地址信息,依然需要设置相应的IP白名单,该IP白名单仅对“代理提取链接(代理提取API)”生效。
6、代理信息获取及使用方式Link
为了方便用户使用,我们给用户提供一个系统账号和密码,登录后可以自行获取“代理提取链接(代理提取API)”。 通过浏览器访问“代理提取链接”,即可获取代理的服务器和端口信息。 在用户通过浏览器访问“代理提取链接”的同时,IP白名单自动绑定生效(绑定访问“代理提取链接”的服务器外网IP),直接配置即可使用。
7、IP白名单修改方式Link
IP白名单绑定的方式
- 手动登录后台,设置IP白名单,即刻生效。
- 启动“自动更新IP”功能,通过访问“代理提取链接”自动绑定该IP为白名单,1分钟可更新一次。(可使用CURL配置脚本完成)。
- 通过API动态修改或替换IP白名单。登录后台点击 “+更多” 有详细说明。
注意:一条提取链接只支持一个外网IP自动绑定IP白名单,如果同时有两个外网IP进行自动绑定会导致冲突。
8、用户认证和IP白名单认证区别Link
爬虫代理支持用户认证和IP白名单认证,只能两者选择其中一种认证方式,其主要区别是:
区别
- 用户认证采用请求头通过用户名/密码的形式进行身份认证,代理可以在任意机器上使用,可以多台机器同时使用,所有机器共享该代理的每秒新请求数。
- IP白名单认证通过爬虫服务器外网IP绑定,可直接配置代理地址进行使用,仅限于IP白名单内的服务器可以使用。其所有机器的合计每秒新请求数=该代理的每秒新请求数×机器外网IP数量
9、代理提取链接需要更新,应该如何处理Link
- 如果“代理提取链接”被盗用,或者因为有机器正在使用,不方便远程停止,那么可以直接登录系统后台,重新生成“代理提取链接”,以前的“代理提取链接”即可失效。
10、如果请求过多会返回什么Link
- 如果开通的HTTP\HTTPS代理,系统返回
429 Too Many Requests
; - 如果开通的Socket5代理,系统会主动对TCP延迟降速,或者直接拒绝超出部分的TCP请求。
这两种处理方式都不会对爬虫的运行产生影响,爬虫会根据返回结果自动重新发起请求,这是HTTP\HTTPS和Socket5的标准应答模式。
11、同一隧道使用的代理IP会重复吗Link
- 系统会自动做去重和随机处理,一般情况下代理IP不会重复出现,但如果池中的 IP 在当天都被隧道使用过,为了保证代理的可用性,平台会为隧道随机分配一个可用代理IP。
12、如何保证7×24小时稳定在线的运行Link
- 由于代理IP分布于全国,线路多、集群结构复杂,加上部分线路不定期升级,可能会偶尔会出现代理链接不上的情况,平台提供双机热备代理服务器(1分钟左右切换时间)确保代理服务实时在线,同时需要爬虫程序进行相应的优化,有两种方案:
- 代理提取链接自动更新(优先推荐,实时更新) 爬虫程序需要开启专用线程,每1分钟访问“代理提取链接”,如果发现代理IP和PORT有变化,爬虫程序需要自动更新代理信息。(因为爬虫服务器外网IP变化或其他网络原因,可能会偶尔造成代理信息获取失败,重新发起请求即可)
- 域名访问模式(被动更新,延迟较长) 通知专属客服开启“域名访问模式”,爬虫程序通过“域名与端口”连接代理服务器。平台进行定期检查,一旦发现在线代理服务器异常,后台进行域名指向更新,由于DNS服务器同步时间较长,加上在线检测时间间隔,因此该方案作为备选。该模式下对于“IP白名单认证”的爬虫代理,需要开启“自动更新IP”,并且每1分钟发出http请求访问“代理提取链接”。