scrapy翻页爬取（python scrapy处理翻页的方法）

说明

1 
  
  
  
  
  
  
  
  
  、根据scrapy这个框架的运行特点 
  
  
  
  
  
  
  
  
  ，翻页必须和处理数据分开
  
  
  
  
  
  
  
  
  
，不然无法执行 
  
  
  
  
  
  
  
  
  。

2
  
  
  
  
  
  
  
  
  
、确定url地址
 


 


 


 


 


 


 


 


 

，构造url地址的请求对象 
 
 
 
 
 
 
 
 
 ，把请求交给引擎
  
  
  
  
  
  
  
  
  
。

构造请求

scrapy.Request(url,callback)

callback：指定解析函数名称
   
   
   
   
   
   
   
   
   
，表示该请求返回的响应使用哪一个函数进行解析
 


 


 


 


 


 


 


 


 

。

实例

scrapy.Request(url,callback=None,method=GET,headers=None,body=None,cookies=None,meta=None, encoding=utf-8,priority=0,dont_filter=False,errback=None,flags=None)

以上就是python scrapy处理翻页的方法
 

 

 

 

 

 

 

 

 
，希望对大家有所帮助 
 
 
 
 
 
 
 
 
 。更多Python学习指路：Python基础教程