反爬虫是什么虫子（有反爬机制就爬不了吗？那是你还不知道反反爬，道高一尺魔高一丈啊）
不知道你们在用爬虫爬数据的时候是否有发现 ，越来越多的网站都有自己的反爬机制 ，抓取数据已经不像以前那么容易 ，目前常见的反爬机制主要有以下几种：
数据是通过动态加载的 ，比如微博 ，今日头条 ，b站 需要登录 ，需要验证码 ，比如铁路12306 ，淘宝 ，京东 请求次数频繁 ，IP地址在同一时间访问次数过多 ，导致IP被封 数据屏蔽方式 ，比如访问的数据不在源码中 ，数据隐藏在js中 ，比如今日分享 ，b站爬虫与反爬虫一直以来就像是左右手互博 ，你有反爬机制 ，我就有反反爬技术 ，即见即可爬 ，道高一尺魔高一丈 。
今天就为大家详细介绍网站的反爬虫机制和实用的应对方法 ，一般网站从三个方面反爬虫：
1.用户请求的Headers
2.用户行为
3.网站目录和数据加载方式前两种比较容易遇到 ，大多数网站都从这些角度来反爬虫 。第三种一些应用ajax的网站会采用 ，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面） 。
一 、从用户请求的Headers反爬虫
这种是最常见的反爬机制 ，在访问某些网站的时候 ，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫 ，用来作为反爬取的一种策略 。
那我们就需要伪装headers 。很多网站都会对Headers的User-Agent进行检测 ，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer） 。
如果遇到了这类反爬虫机制 ，可以直接在爬虫中添加Headers ，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名 。
往往容易被忽略 ，通过对请求的抓包分析 ，确定referer ，在程序中模拟访问请求头中添加 。
对于检测Headers的反爬虫 ，在爬虫中修改或者添加Headers就能很好的绕过 。
例如打开搜狐首页 ，先来看一下Chrome的头信息（F12打开开发者模式）如下：
如图 ，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多 ，其中User-Agent就是用户浏览器身份的一种标识 ，具体可自行查询）
Python中urllib中的request模块提供了模拟浏览器访问的功能 ，代码如下：
from urllib import request url = http://www. baidu.com # page= requestRequest (url) # page add header ( User-Agent, Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki headers ={User-Agent: Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36} page = request Request(url, headersheaders) page_info = request urlopen(page). read().decode(utf-8) print(page_info)可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问
urllib.request Request() urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )其中headers是一个字典 ，通过这种方式可以将爬虫模拟成浏览器对网站进行访问 。
二 、基于用户行为反爬虫
还有一部分网站是通过检测用户行为 ，例如同一IP短时间内多次访问同一页面 ，或者同一账户短时间内多次进行相同操作 。
这种防爬 ，需要有足够多的ip来应对 。
（1）方法1大多数网站都是前一种情况 ，对于这种情况 ，使用IP代理就可以解决 。可以专门写一个爬虫 ，爬取网上公开的代理ip ，检测后全部保存起来 。有了大量代理ip后可以每请求几次更换一个ip ，这在requests或者urllib中很容易做到 ，这样就能很容易的绕过第一种反爬虫 。
编写爬虫代理：
步骤：
1.参数是一个字典{‘类型’：‘代理ip：端口号’} proxy_support=urllib.request.ProxyHandler({})
2.定制 、创建一个opener opener=urllib.request.build_opener(proxy_support)
3.安装opener urllib.request.install_opener(opener)
4.调用opener opener.open(url)用大量代理随机请求目标网站 ，应对反爬虫
import urllib request import random import re url=http://www. whatismyip. com. tw iplist=[121.193.143.249:88,"112.126.65.193:88,122.96.59.184:82,115.29.98.139:9] proxy_support = urllib. request Proxyhandler({httP: random choice(iplist)}) opener = urllib.request.build_opener(proxy_suppor) opener.addheaders=[( User-Agent, Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36 urllib.request.install_opener(opener) response = urllib.request.urlopen(url) html = response.read().decode( utf-8) pattern = re.compile(<h1>(.*?)</h1>.*?<h2>(,*?)</h2>) iterms=re.findall(pattern, html) for item in iterms: print(item[0]+:"+item[1]) （2）方法2对于第二种情况 ，可以在每次请求后随机间隔几秒再进行下一次请求 。有些有逻辑漏洞的网站 ，可以通过请求几次 ，退出登录 ，重新登录 ，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制 。
对于账户做防爬限制 ，一般难以应对 ，随机几秒请求也往往可能被封 ，如果能有多个账户 ，切换使用 ，效果更佳 。
三 、动态页面的反爬虫
上述的几种情况大多都是出现在静态页面 ，还有一部分网站 ，我们需要爬取的数据是通过ajax请求得到 ，或者通过Java生成的 。
解决方案：Selenium+PhantomJS
Selenium：自动化web测试解决方案 ，完全模拟真实的浏览器环境 ，完全模拟基本上所有的用户操作
PhantomJS ：一个没有图形界面的浏览器
比如获取淘宝的个人详情地址：
from selenium import webdriver import time import re drive = webdriver.PhantomJs(executable_path = phantomjs-21.1-linux-x86 64/bin/phanto drive.get(https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal) time. sleep(5) pattern = re.compile(r<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">. html = drive.page_source.encode( utf-8, ignore) items=re.findall(pattern, html) for item in items: print(item[0], http:+item[1]) drive.close()四.总结
最后给大家总结一下前面所讲的反爬机制应对策略（反反爬）：
伪装浏览器
使用代理IP
抓包分析突破异步加载 / selenium自动化测试工具
添加cookie
最后嘱咐大家一句 ，爬虫世界确实很有意思 ，技术是无罪的 ，学习是可以的 ，但还是实际操作就要适可而止了 ，不要触碰到法律的边界线 。
感谢你们的阅读和喜欢 ，我收藏了很多技术干货 ，可以共享给喜欢我文章的朋友们 ，如果你肯花时间沉下心去学习 ，它们一定能帮到你 ，干货内容包括：
点击文末的名片可以抱走
创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！