阅读数:692 评论数:0

consumer是非线程安全的，它不能在多线程中使用，所以在shutdownHook线程中不能使用consumer的close方法。如果你没有在程序退出前很好关闭consumer，最明显的行为主是在下次启动程序消费数据时会发现consumer分配分区的过程可能非常慢，还有一个问题是Kafka不能立即知道consumer已经退出，如果同组在其他地方有其他消费者，rebalance要在心跳超时后才分触发。

解决思路

主要思路是在shutdownHook线程中使用consumer的wakeup()方法让主线程中消费者在下次poll的时候抛出WakeupException，以退出while循环，在finall中关闭consumer。当然还需要在shutdownHook线程中等待主线程完成任务再退出整个程序。

Runtime.getRuntime().addShutdownHook(new Thread() {
             public void run() {
                 System.out.println("Starting exit...");
                 consumer.wakeup();
                 try {
                     // 主线程继续执行，以便可以关闭consumer，提交偏移量
                     mainThread.join();
                 } catch (InterruptedException e) {
                     e.printStackTrace();
                 }
             }
        });
 
        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(1000);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.println("topic = " + record.topic() + ", partition = " + record.partition()
                        + ", offset = " + record.offset());
                }
                consumer.commitAsync();
            }
        }catch (WakeupException e) {
            // 不处理异常
        } finally {
            // 在退出线程之前调用consumer.close()
            consumer.close();
            System.out.println("Closed consumer and we are done");
        }