python多线程写文件（python多线程处理大量文件数据）

在python中                ，我们会遇到处理大量文件数据的时候                。如果我们用for循环顺序处理
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，处理文件数据效率额很低














，这时我们就可以使用我们的多线程来处理多个超大的文件数据
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
。

第一步：导入import threading 模块

importthreading

第二步：使用多线程可以同时打开并运行多个数据

#!/usr/bin/envpython #encoding=utf-8 importthreading importtime fromQueueimportQueue defreadFile(): file_object=open(/opt/dev/python/list.dat) globalqueue forlineinfile_object: queue.put(line) classConsumer(threading.Thread): defrun(self): globalqueue whilequeue.qsize()>0: msg=self.name+消费了+queue.get() printmsg time.sleep(0.01) queue=Queue() defmain(): readFile() foriinrange(5): c=Consumer() c.start() if__name__==__main__: main()

以上就是用python多线程处理大量数据的演示代码  
  
  
  
  
  
  
  ，如果有需要处理大量文件的小伙伴 
  
  
  
  
  
  
  
，可以尝试使用多线程


 


 


 


 


 


 


 

，会方便很多哦~