开放代理开发手册

总览

新手开发者可通过如下3个步骤使用开放代理:

一、先在网页上提取开放代理,进行本地调试和验证

二、 参考代码样例请求开放代理。

三、 在程序中通过调用API接口获取代理,然后请求目标网站。

API接口

开放代理API接口一览

接口名称 接口功能
GetProxy 获取代理IP
CheckOpsValid 检测开放代理有效性
GetIpWhitelist 专业版获取专属IP池IP白名单
SetIpWhitelist 专业版设置专属IP池IP白名单
GetProxyAuthorization 专业版获取专属IP池鉴权信息

在线提取代理
在线生成API链接

测试代理可用性

专业版专属IP池外,开放代理无须验证即可使用。
使用专业版专属IP池需要验证,支持白名单和用户名密码两种验证方式。
建议您提取代理IP后,先在本机测试好可用率,可用率符合预期就可以正常使用了。

查看开放代理IP可用率
查看测试步骤

专属IP池频率限制

程序请求专业版专属IP池的建议频率是1个IP不超过1秒1次
请求超过建议频率可能收到429错误。
注意控制请求频率,持续过快请求,您的IP可能被临时屏蔽。

如果您需要更高的请求频率请联系客服定制。

专属IP池错误码一览

HTTP返回码 Response body内容 说明
407 情况一:White IP Failed: $client_ip
情况二:Proxy Authentication Failed: $auth
情况一:没有通过IP白名单验证
情况二:用户名密码错误,验证失败
429 Concurrency Over Limit 请求频率超过限制
440 Over White IP Count(client ip: $client_ip) 用户名密码验证通过,但IP超出最大数量限制
441 Binary Post Forbidden 2小时内向超过10个网站post二进制数据会返回这个错误
443 IP Forbidden 客户端IP被临时屏蔽
444 Download Forbidden 禁止下载此文件
445 Access Forbidden 禁止访问该网站
447 Real Name Verify Required 账户需要实名认证
502 Bad Gateway 代理服务器出现异常,不能正常处理请求

专属IP池使用统计

专属IP池使用统计功能提供了对请求量和请求错误的统计分析。
您可以随时关注采集程序的运行走势,了解发生的错误并及时修正。我们还为几种常见的错误提供了分析和提示,帮助您提升采集程序运行的成功率。

IP使用统计

开发建议

参考如下开发建议,可以帮助您更加顺利地完成开发和调试:

  1. 提取IP后尽快使用,不要在IP池里放太久,以免IP失效。
  2. 控制好请求频率,用同一IP请求同一网站建议不超过1秒1次,避免IP被目标网站屏蔽。
  3. 尽可能采用gzip压缩加速访问,在header里添加:Accept-Encoding: gzip

使用专属IP池:

  1. 关注代理服务器的返回码可协助您排查错误。
  2. 关注专属IP池使用统计了解程序的请求量和出错情况的统计分析,不断优化。

使用gzip详解

使用gzip压缩传输数据可显著提升访问速度,方法非常简单:
只需在http请求的header里加上:
Accept-Encoding: gzip
收到HTTP Response后检查header里是否包含:
Content-Encoding: gzip
如果包含,则对body进行gzip解压,就能得到原始内容。

代码样例

调用API
请求开放代理 (Http)

SDK下载

SDK下载

联系我们
  • 售前在线咨询
    咨询享免费测试,专业工程师提供技术支持
  • 客服热线
    400-058-0638  周一至周六 9:00-18:30
  • 提交工单
    您的每一次反馈我们都认真对待
  • 客服微信 & QQ
    客服微信:kuaidaili,客服QQ:800849628
  • 企业客户通道
    提交需求后专业的售前工程师为您提供服务