爬虫

什么是爬虫：

- 通过编写程序
  
  
  
  
  ，模拟浏览器上网  
  
  
  
  
 ，然后让其去互联网上抓取数据的过程
  
  
  
  
  。

爬虫究竟是合法还是违法的？

在法律中是不被禁止 具有违法风险 善意爬虫 恶意爬虫

爬虫带来的风险可以体现在如下2方面：

- 爬虫干扰了被访问网站的正常运营

- 爬虫抓取了收到法律保护的特定类型的数据或信息

如何在使用编写爬虫的过程中避免进入局子的厄运呢？

- 时常的优化自己的程序
 


 


 


 


 


，避免干扰被访问网站的正常运行 - 在使用
 
 
 
 
 ，传播爬取到的数据时   
   
   
   
   
 ，审查抓取到的内容
 

 

 

 

 

，如果发现了涉及到用户隐私 商业机密等敏感内容需要及时停止爬取或传播 爬虫在使用场景中的分类 - 通用爬虫： 抓取系统重要组成部分  
  
  
  
  
 。抓取的是一整张页面数据
 


 


 


 


 


。 - 聚焦爬虫： 是建立在通用爬虫的基础之上
 
 
 
 
 。抓取的是页面中特定的局部内容   
   
   
   
   
 。 - 增量式爬虫： 检测网站中数据更新的情况
 

 

 

 

 

。只会抓取网站中最新更新出来的数据

 

 

 

 

 。

反爬机制：门户网站

 

 

 

 

 ，可以通过制定相应的策略或者技术手段           ，防止爬虫程序进行网站数据的爬取           。

反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段
 
 

 
 

 
 

 
 

 
 

，破解门户网站中具备的反爬机制









，从而可以获取门户网站中相关的数据
 
 

 
 

 
 

 
 

 
 

。

robots.txt协议： 君子协议









。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取                。

requests模块

1.什么是requests模块 - python原生一个基于网络请求的模块                ，模拟浏览器发起请求 
 
 
 
 
 
 
 
 
 
。 - 2.为什么要使用requests模块 - 1.自动处理url编码 - 2.自动处理post请求的参数 - 3.简化cookie的代理的操作： cookie操作： - 创建一个cookiejar对象 - 创建一个handler对象 - 创建一个operner 代理操作： - 创建handler对象 
 
 
 
 
 
 
 
 
 
，代理ip和端口封装到该对象 - 创建openner对象 - 3.requests如何被使用 - 安装：pip install requests - 使用流程： - 1.指定url - 2.使用requests模块发起请求 - 3.获取响应数据 - 4.进行持久化存储 - 4.通过5个基于requests模块的爬虫项目对该模块进行系统学习和巩固 - get请求 - post请求 - ajax的get - ajax的post - 综合

如何使用：（requests模块的编码流程）

- 指定url

- UA伪装

- 请求参数的处理

- 发起请求

- 获取响应数据

- 持久化存储

实战编码：

- 需求：爬取首页的页面数据 #指定url url = "https://www.luffycity.com/" #发起请求 #获取响应数据 res = requests.get(url = url) data = res.text

网页采集器

动态搜索的话















，我们需要自定义请求

#处理url携带的参数：封装到字典中 kw = input(enter a word:) param = { query:kw } #对指定的url发起的请求对应的url是携带参数的          ，并且请求过程中处理了参数 res = requests.get(url=url, params=param) #带参数对指定url发起请求 page_text = res.text print(page_text)

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

UA：User-Agent（请求载体的身份标识）

UA检测：门户网站的服务器会检测对应请求的载体身份标识  
 
  
 
  
 
  
 
  
 
 ，如果检测到请求的载体身份标识为某一款浏览器










，

说明该请求是一个正常的请求















。但是
  
  
  
  
  ，如果检测到请求的载体身份标识不是基于某一款浏览器的  
  
  
  
  
 ，则表示该请求

为不正常的请求（爬虫）
 


 


 


 


 


，则服务器端就很有可能拒绝该次请求          。

这是正常浏览器所以使用的用户代理
 
 
 
 
 ，将这个写到代码中就会伪装成浏览器请求

header = { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 #这一步也可以通过抓包拦截获取 } url = https://www.sogou.com/web? kw = input() param ={ "query" :kw } res = requests.get(url=url, params=param,headers=header) #带参数对指定url发起请求

破解百度翻译

蓝色框是我们想要得到的东西  
 
  
 
  
 
  
 
  
 
 。

当在搜索框中输入之后   
   
   
   
   
 ，服务器会通过ajax请求提交
 

 

 

 

 

，所以我们可以去捕获XHR类型的请求

以输入regina为例

 

 

 

 

 ，可以得到以下的数据包           ，一共是6个sug和其他文件










。依次打开
 
 

 
 

 
 

 
 

 
 

，我们会发现每输入一个字母

浏览器就会提交一次ajax请求









，所以我们可以找到最后一次提交的文件

Request URL: https://fanyi.baidu.com/sug Request Method: POST Status Code: 200 OK Remote Address: 103.235.46.58:443 Referrer Policy: strict-origin-when-cross-origin Content-Type: application/json Date: Tue, 17 Jan 2023 05:38:54 GMT FORM DATA: kw:regina

数据是通过post请求提交                ，并且参数有一个我们要输入的东西 
 
 
 
 
 
 
 
 
 
，url如上所示

#1.指定url post_url = https://fanyi.baidu.com/sug #2.进行UA伪装 headers = { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 } #3.post请求参数处理（同get请求一致） word = input(enter a word:) data = { kw:word } #4.请求发送 response = requests.post(url=post_url,data=data,headers=headers)

我们看到响应数据是json类型















，可以使用json方法来得到结果

#5.获取响应数据:json()方法返回的是obj（如果确认响应数据是json类型的          ，才可以使用json（）） dic_obj = response.json() #持久化存储 fileName = word+.json fp = open(fileName,w,encoding=utf-8) json.dump(dic_obj,fp=fp,ensure_ascii=False) #中文无法ascii码编码