Kafka中bootstrap-server、broker-list和zookeeper的区别
参考中说建议使⽤新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server
Kafka专业术语,参考
Broker:Kafka 集包含⼀个或多个服务器,这种服务器被称为 broker。
Topic:每条发布到 Kafka 集的消息都有⼀个类别,这个类别被称为 Topic。(物理上不同 Topic 的消息分开存储,逻辑上⼀个 Topic 的消息虽然保存于⼀个或多个 broker 上,但⽤户只需指定消息的 Topic 即可⽣产或消费数据⽽不必关⼼数据存于何处)。
Partition:Partition 是物理上的概念,每个 Topic 包含⼀个或多个 Partition。
Producer:负责发布消息到 Kafka broker。
kafka最新版本Consumer:消息消费者,向 Kafka broker 读取消息的客户端。
Consumer Group:每个 Consumer 属于⼀个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group)。
在《Kafka权威指南》中是这样描述的
对于消费者,kafka中有两个设置的地⽅:对于⽼的消费者,由--zookeeper参数设置;对于新的消费者,由--bootstrap-server参数设置
如果使⽤了--zookeeper参数,那么consumer的信息将会存放在zk之中
查看的⽅法是使⽤./zookeeper-client,然后 ls /consumers/[group_id]/offsets/[topic]/[broker_id-part_id],这个是查看某个group_id的某个topic的offset 如果使⽤了--bootstrap-server参数,那么consumer的信息将会存放在kafka之中
对于console⽣产者,--broker-list参数指定了所使⽤的broker