scrapy翻页爬取（python scrapy处理翻页的方法）

说明

1 
  
  
  
  
  
  
  、根据scrapy这个框架的运行特点 
  
  
  
  
  
  
  ，翻页必须和处理数据分开
  
  
  
  
  
  
  
 ，不然无法执行 
  
  
  
  
  
  
  。

2
  
  
  
  
  
  
  
 、确定url地址
 


 


 


 


 


 


 


，构造url地址的请求对象 
 
 
 
 
 
 
 ，把请求交给引擎
  
  
  
  
  
  
  
 。

构造请求

scrapy.Request(url,callback)

callback：指定解析函数名称
   
   
   
   
   
   
   
 ，表示该请求返回的响应使用哪一个函数进行解析
 


 


 


 


 


 


 


。

实例

scrapy.Request(url,callback=None,method=GET,headers=None,body=None,cookies=None,meta=None, encoding=utf-8,priority=0,dont_filter=False,errback=None,flags=None)

以上就是python scrapy处理翻页的方法
 

 

 

 

 

 

 

，希望对大家有所帮助 
 
 
 
 
 
 
 。更多Python学习指路：Python基础教程