kafka-⽣产者发送消息的基本实现

目录

生产者代码基本实现生产者ack的配置消息发送的缓冲区机制

1、生产者代码基本实现

org.apache.kafka kafka-clients 2.4.1

public class myProducer { private final static String TOPIC_NAME = "myTopic"; public static void main(String[] args) throws ExecutionException, InterruptedException { Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.72.128:9092,192.168.72.128:9093,192.168.72.128:9094"); //把发送的key从字符串序列化为字节数组 props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); //把发送消息value从字符串序列化为字节数组 props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); Producer producer = new KafkaProducer(props); for (int i = 0; i < 10l ;i++){ Order order = new Order((long) i, i); ProducerRecord producerRecord = new ProducerRecord(TOPIC_NAME , order.getOrderId().toString(), JSON.toJSONString(order)); //1、同步发送消息 //等待消息发送成功的同步阻塞⽅法 Recordmetadata metadata = producer.send(producerRecord).get(); //=====阻塞======= System.out.println("同步⽅式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset()); //2、异步回调⽅式发送消息 producer.send(producerRecord, new Callback() { public void onCompletion(Recordmetadata metadata, Exception exception) { if (exception != null) { System.err.println("发送消息失败：" + exception.getStackTrace()); } if (metadata != null) { System.out.println("异步⽅式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset()); } } }); } }}

2、生产者ack的配置

props.put(ProducerConfig.ACKS_CONFIG, "1"); props.put(ProducerConfig.RETRIES_CONFIG, 3);//重试间隔设置props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG, 300);

在同步发消息的场景下：⽣产者发动broker上后，ack会有3种不同的选择:

（1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下⼀条消息。性能最⾼，但是最容易丢消息。
（2）acks=1： ⾄少要等待leader已经成功将数据写⼊本地log，但是不需要等待所有follower是否成功写⼊。就可以继续发送下⼀条消息。这种情况下，如果follower没有成功备份数据，⽽此时leader⼜挂掉，则消息会丢失。
（3）acks=-1或all： 需要等待 min.insync.replicas(默认为1，推荐配置⼤于等于2) 这个参数配置的副本个数都成功写⼊⽇志，这种策略会保证只要有⼀个备份存活就不会丢失数据。这是最强的数据保证。⼀般除⾮是⾦融级别，或跟钱打交道的场景才会使⽤这种配置。

注：ack小细节

1、发送会默认会重试3次，每次间隔100ms
2、发送的消息会先进⼊到本地缓冲区（默认32mb），kakfa会跑⼀个线程，该线程去缓冲区中取16k的数据，发送到kafka，如果到10毫秒数据没取满16k，也会发送⼀次。



3、消息发送的缓冲区机制

1、kafka默认会创建⼀个消息缓冲区，用来存放要发送的消息，默认大小是32m。

props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

2、kafka本地线程会去缓冲区中⼀次拉16k的数据，批量发送到broker。

props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);

3、如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发到broker。

props.put(ProducerConfig.LINGER_MS_CONFIG, 10);