反爬虫是什么虫子（有反爬机制就爬不了吗？那是你还不知道反反爬，道高一尺魔高一丈啊）

不知道你们在用爬虫爬数据的时候是否有发现           ，越来越多的网站都有自己的反爬机制
  
 
  
 
  
 
  
 
  
 
，抓取数据已经不像以前那么容易









，目前常见的反爬机制主要有以下几种：

数据是通过动态加载的 
  
  
  
  
  ，比如微博
  
  
  
  
  
，今日头条
 


 


 


 


 

，b站 需要登录 
 
 
 
 
 ，需要验证码
   
   
   
   
   
，比如铁路12306
 

 

 

 

 
，淘宝 

 

 

 

 

 ，京东 请求次数频繁          ，IP地址在同一时间访问次数过多

 
 

 
 

 
 

 
 

 
 
，导致IP被封 数据屏蔽方式









，比如访问的数据不在源码中                ，数据隐藏在js中
 
 
 
 
 
 
 
 
 
 
，比如今日分享














，b站

爬虫与反爬虫一直以来就像是左右手互博           ，你有反爬机制
  
 
  
 
  
 
  
 
  
 
，我就有反反爬技术









，即见即可爬 
  
  
  
  
  ，道高一尺魔高一丈
  
  
  
  
  。

今天就为大家详细介绍网站的反爬虫机制和实用的应对方法
  
  
  
  
  
，一般网站从三个方面反爬虫：

1.用户请求的Headers

2.用户行为

3.网站目录和数据加载方式

前两种比较容易遇到
 


 


 


 


 

，大多数网站都从这些角度来反爬虫  
  
  
  
  
 。第三种一些应用ajax的网站会采用 
 
 
 
 
 ，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）
 


 


 


 


 


。

一
  
  
  
  
  、从用户请求的Headers反爬虫

这种是最常见的反爬机制
   
   
   
   
   
，在访问某些网站的时候
 

 

 

 

 
，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫 

 

 

 

 

 ，用来作为反爬取的一种策略
 
 
 
 
 。

那我们就需要伪装headers   
   
   
   
   
 。很多网站都会对Headers的User-Agent进行检测          ，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）
 

 

 

 

 

。

如果遇到了这类反爬虫机制

 
 

 
 

 
 

 
 

 
 
，可以直接在爬虫中添加Headers









，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名

 

 

 

 

 。

往往容易被忽略                ，通过对请求的抓包分析
 
 
 
 
 
 
 
 
 
 
，确定referer














，在程序中模拟访问请求头中添加           。

对于检测Headers的反爬虫           ，在爬虫中修改或者添加Headers就能很好的绕过
 
 

 
 

 
 

 
 

 
 

。

例如打开搜狐首页
  
 
  
 
  
 
  
 
  
 
，先来看一下Chrome的头信息（F12打开开发者模式）如下：

如图









，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多 
  
  
  
  
  ，其中User-Agent就是用户浏览器身份的一种标识
  
  
  
  
  
，具体可自行查询）

Python中urllib中的request模块提供了模拟浏览器访问的功能
 


 


 


 


 

，代码如下：

from urllib import request url = http://www. baidu.com # page= requestRequest (url) # page add header ( User-Agent, Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki headers ={User-Agent: Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36} page = request Request(url, headersheaders) page_info = request urlopen(page). read().decode(utf-8) print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问

urllib.request Request() urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )

其中headers是一个字典 
 
 
 
 
 ，通过这种方式可以将爬虫模拟成浏览器对网站进行访问









。

二  
  
  
  
  
 、基于用户行为反爬虫

还有一部分网站是通过检测用户行为
   
   
   
   
   
，例如同一IP短时间内多次访问同一页面
 

 

 

 

 
，或者同一账户短时间内多次进行相同操作                。

这种防爬 

 

 

 

 

 ，需要有足够多的ip来应对 
 
 
 
 
 
 
 
 
 
。

（1）方法1

大多数网站都是前一种情况          ，对于这种情况

 
 

 
 

 
 

 
 

 
 
，使用IP代理就可以解决















。可以专门写一个爬虫









，爬取网上公开的代理ip                ，检测后全部保存起来          。有了大量代理ip后可以每请求几次更换一个ip
 
 
 
 
 
 
 
 
 
 
，这在requests或者urllib中很容易做到














，这样就能很容易的绕过第一种反爬虫  
 
  
 
  
 
  
 
  
 
 。

编写爬虫代理：

步骤：

1.参数是一个字典{‘类型’：‘代理ip：端口号’} 　　proxy_support=urllib.request.ProxyHandler({})

2.定制
 


 


 


 


 


、创建一个opener 　　opener=urllib.request.build_opener(proxy_support)

3.安装opener 　　urllib.request.install_opener(opener)

4.调用opener 　　opener.open(url)

用大量代理随机请求目标网站           ，应对反爬虫

import urllib request import random import re url=http://www. whatismyip. com. tw iplist=[121.193.143.249:88,"112.126.65.193:88,122.96.59.184:82,115.29.98.139:9] proxy_support = urllib. request Proxyhandler({httP: random choice(iplist)}) opener = urllib.request.build_opener(proxy_suppor) opener.addheaders=[( User-Agent, Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36 urllib.request.install_opener(opener) response = urllib.request.urlopen(url) html = response.read().decode( utf-8) pattern = re.compile(<h1>(.*?)</h1>.*?<h2>(,*?)</h2>) iterms=re.findall(pattern, html) for item in iterms: print(item[0]+:"+item[1]) （2）方法2

对于第二种情况
  
 
  
 
  
 
  
 
  
 
，可以在每次请求后随机间隔几秒再进行下一次请求










。有些有逻辑漏洞的网站









，可以通过请求几次 
  
  
  
  
  ，退出登录
  
  
  
  
  
，重新登录
 


 


 


 


 

，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制
  
  
  
  
  。

对于账户做防爬限制 
 
 
 
 
 ，一般难以应对
   
   
   
   
   
，随机几秒请求也往往可能被封
 

 

 

 

 
，如果能有多个账户 

 

 

 

 

 ，切换使用          ，效果更佳  
  
  
  
  
 。

三
 
 
 
 
 、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面

 
 

 
 

 
 

 
 

 
 
，还有一部分网站









，我们需要爬取的数据是通过ajax请求得到                ，或者通过Java生成的
 


 


 


 


 


。

解决方案：Selenium+PhantomJS

Selenium：自动化web测试解决方案
 
 
 
 
 
 
 
 
 
 
，完全模拟真实的浏览器环境














，完全模拟基本上所有的用户操作

PhantomJS ：一个没有图形界面的浏览器

比如获取淘宝的个人详情地址：

from selenium import webdriver import time import re drive = webdriver.PhantomJs(executable_path = phantomjs-21.1-linux-x86 64/bin/phanto drive.get(https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal) time. sleep(5) pattern = re.compile(r<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">. html = drive.page_source.encode( utf-8, ignore) items=re.findall(pattern, html) for item in items: print(item[0], http:+item[1]) drive.close()

四.总结

最后给大家总结一下前面所讲的反爬机制应对策略（反反爬）：

伪装浏览器

使用代理IP

抓包分析突破异步加载 / selenium自动化测试工具

添加cookie

最后嘱咐大家一句           ，爬虫世界确实很有意思
  
 
  
 
  
 
  
 
  
 
，技术是无罪的









，学习是可以的 
  
  
  
  
  ，但还是实际操作就要适可而止了
  
  
  
  
  
，不要触碰到法律的边界线
 
 
 
 
 。

感谢你们的阅读和喜欢
 


 


 


 


 

，我收藏了很多技术干货 
 
 
 
 
 ，可以共享给喜欢我文章的朋友们
   
   
   
   
   
，如果你肯花时间沉下心去学习
 

 

 

 

 
，它们一定能帮到你 

 

 

 

 

 ，干货内容包括：

点击文末的名片可以抱走