Python python 爬虫对爬虫代理的使用

laical1 · 2020年06月15日 · 239 次阅读

做过爬虫的应该都知道,在爬取反爬比较强的网站如果同一时间获取的数据量过大就会导致封 IP,例如豆瓣,搜狗之类的。那么我们我们的策略就是搭建自己的代理池,Cookie 池,使得爬虫更像是普通用户在操作一样以此来解决目标网站封 IP 的问题。在网上有大量公开的免费代理,如果经济基础可以的话,我们也可以购买付费的代理 IP,用过的人也应该知道,无论是免费的还是付费的,其实都不能保证是可用的,因为可能此 IP 也会被其他人用来爬取同样的目标站点而封禁,或者代理服务器突然发生故障或网络繁忙。一旦我们选用了一个不可用的代理,这势必会影响爬虫的工作效率。所以我们需要提前做筛选,将不可用的代理剔除掉,从而保留可用的代理。 运行环境 Python 3.7, Pycharm 这些需要大家直接去搭建好环境 准备工作

  1. 爬取 IP 地址 (亿牛云国内高匿代理)
  2. 校验 IP 地址(亿牛云代理)
  3. 你之前被封 IP 的 py 爬虫脚本 使用方法完整代码 #! -- encoding:utf-8 -- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标 HTTPS 页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器 (产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理隧道验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user) s:%(pass) s@%(host) s:%(port) s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http 和 https 访问都是用 HTTP 代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置 IP 切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text 使用 http 代理的好处 数据信息采集离不开 Python 爬虫,而 python 爬虫离不开代理 IP,他们的结合可以做的事情很多,如搜索引擎、采集数据、广告过滤等,Python 爬虫还可以用于数据分析,在数据的抓取方面可以产生的作用巨大!而亿牛云代理是 python 网络爬虫不可缺少的部分。 爬虫即使用任何技术手段,批量获取网站信息的一种方式。我们在爬虫抓取的过程中,经常会遇到爬虫 IP 受限问题,我们可以通过一些基础的方法来解决,其中 HTTP 代理在爬虫抓取中扮演着重要的角色。想要做好爬虫工作,选择 HTTP 代理很重要。
更多原创文章干货分享,请关注公众号
  • 加微信实战群请加微信(注明:实战群):gocnio
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册