Python python 爬虫使用爬虫代理

laical1 · 2020年07月02日 · 357 次阅读

网络爬虫是一个很有趣的功能,它既能获得网络上的资源,但是它也可以带来很多的很严重的问题。我们现在常用的网络爬虫,从按尺寸划分可以分为三大类。 • 第一类是指以爬取网页或者玩转网页为主的一类爬虫,这类爬虫规模很小,获取网络的数据量也很小,它对爬取网页的速度并不敏感。针对这类的网络爬虫,我们就可以使用 requests 库来实现它的功能。 • 还有一类网络爬虫,他是以爬取网站或者爬取系列网站为目的。比如说我们想建立一个爬虫,他能够获得一个旅游网站的资源,那么我们就需要一个能够爬取网站规模的爬虫。我们说这样的网络爬虫是一个中规模的爬虫,它所对应的数据规模往往较大,而他对爬取速度也是很敏感的。比如说我们想去爬去携程上的数据内容,携程有很多的内容,我们爬取它如果速度不快,可能你还赶不上它携程本身数据更新的速度,那就不行了,所以在这种情况下我们要使用一类更专业的库,比如 Scrapy。 • 除此之外,还有一类能够爬取全 internet 规模的爬虫,它规模很大,但它只有一个作用,就是建立全依赖的搜索引擎,比如说 Google、百度。这样的提供搜索引擎功能的公司背后都有一个能够爬取全 internet 在内的所有资源的爬虫,爬起速度是非常关键的。那么这样的话从只可能定制开发而不可能有第三方库提供相关的应用。 在我们所见到的网络爬虫里,小规模的、爬取网页为主的爬虫占到了 90% 以上的比例。不要看这样的爬虫非常小,但是它针对特定网页或者针对一系列网页却能够发挥很大的作用。 1.爬取数据 这一步,你要明确要得到的内容是什么?是 HTML 源码,还是 Json 格式的字符串等。 (1) 最基本的爬取 抓取大多数情况属于 get 请求,即直接从对方服务器上获取数据。 首先,Python 中自带 urllib 及 urllib2 这两个模块,基本上能满足一般的页面抓取。另外,requests 也是非常有用的包,与此类似的,还有 httplib2 等等。 import requests url = http://current.ip.16yun.cn:802 response = requests.get(url) content = requests.get(url).content print("response headers:", response.headers) print("content:", content) 此外,对于带有查询字段的 url,get 请求一般会将来请求的数据附在 url 之后,以?分割 url 和传输数据,多个参数用&连接。 import requests data = {'wd':'nike', 'ie':'utf-8'} url='https://www.baidu.com' response = requests.get(url=url, params=data) (2) 使用爬虫代理 #! -- encoding:utf-8 -- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标 HTTPS 页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器 (产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理隧道验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user) s:%(pass) s@%(host) s:%(port) s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http 和 https 访问都是用 HTTP 代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置 IP 切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text 2.对于反爬虫机制的处理 (1) 时间设置 适用情况:限制频率情况。大部分网站有频率限制,比如搜索后需要一定间隔才能获取详情页面等。 我们可以用 sleep 方式来做出以下延迟。 import time time.sleep(1) (2) 伪装成浏览器,或者反 “反盗链” 有些网站会检查你是不是真的浏览器访问,还是机器自动访问的。这种情况,加上 User-Agent,表明你是浏览器访问即可。有时还会检查是否带 Referer 信息还会检查你的 Referer 是否合法,一般再加上 Referer。 User-Agent 可以用亿牛云代理 IP 提供给的真实库,Referer 的来源可以伪装成百度搜索来的。 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.1276.73 Safari/537.36', 'Referer':'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=nike'} response = requests.get(url=url, headers=headers) 爬虫程序配合爬虫代理加强版,才能长期稳定采集数据。

更多原创文章干货分享,请关注公众号
  • 加微信实战群请加微信(注明:实战群):gocnio
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册