kafka消费者poll及消费时间（Kafka消费者调优）

kafka消费速度慢可以尝试以下方法进行调优

1. 根据topic分区数来调整消费者实例数

众所周知             ，kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费             。

如果你的topic分区数为36
 
  
 
  
 
  
 
  
 
  
 
  
，则可以尝试调整消费者实例数为36











，当然这个是消费者ConsumerFactory.concurrency = 1的情况
 
  
 
  
 
  
 
  
 
  
 
  
。如果你调整了线程数为n  
  
  
  
  
  
 ，则你的消费者实例数最优为Math.ceil(36/n)











。

2. 开启消费者批量消费

可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费 
  
  
  
  
  
 ，并配置批量消费数ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100


 


 


 


 


 


 
，默认为500

3. 消费者批量消费多线程处理

消费者使用线程池进行批量消费数据  
  
  
  
  
  
 。建议不要使用execute 
 
 
 
 
 
，否则容易失控  
   
   
   
   
   
  ，建议使用submit然后得到future.get

 

 

 

 

 

 
，get的时候会等待线程执行完
 

 

 

 

 

 
，这种方式会把本次批量消费完再往下消费 
  
  
  
  
  
 。

此时线程池的核心线程数就需要根据业务是IO密集型还是CPU密集型来决定             ，如果是IO密集型线程数可以多设置些
 

 
 

 
 

 
 

 
 

 
 

 
，如果是CPU密集型线程数可以根据核心数来决定


 


 


 


 


 


 
。