1 Kafka概述

1.1 定义

Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

1.2 Kafka基础架构

1)Producer :消息生产者,就是向kafka broker发消息的客户端;
2)Consumer :消息消费者,向kafka broker取消息的客户端;
3)Consumer Group (CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
4)Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
5)Topic :可以理解为一个队列,生产者和消费者面向的都是一个topic;
6)Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列;
7)Replica:副本,为保证集群中的某个节点发生故障时,该节点上的partition数据不丢失,且kafka仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个leader和若干个follower。
8)leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。
9)follower:每个分区多个副本中的“从”,实时从leader中同步数据,保持和leader数据的同步。leader发生故障时,某个follower会成为新的leader。

  1. Kafka集群
    Kafka集群是由多个Broker组成的。 每个Broker拥有唯一的id.
    Kafka集群中有多个Topic.每个Topic可有多个分区(partition),每个分区可有多个副本(replication).
    一个Topic的多个分区可以存在到一个Broker中。 一个分区的多个副本只能在不同的broker存在.
    一个分区的多个副本由一个leader和多个follower组成.
    生产者和消费者读写数据面向leader. follower主要同步leader的数据。以及当leader故障后,follower代替leader工作.

  2. 生产者
    生成者的功能就是往topic中发布消息.

  3. 消费者
    消费者的功能就是从topic中消费消息.
    消费者消费消息是以消费者组为单位进行的.
    一个消费者组内的一个消费者可以同时消费一个topic中多个分区的消息.
    一个Topic中的一个分区的消息同时只能被一个消费者组中的一个消费者消费.

  4. Zookeeper
    Kafka集群的工作需要依赖zookeeper,例如每个broker启动后需要向zookeeper注册.
    Broker中大哥(controller)的选举(争抢策略)
    Kafka 0.9版本之前消费者组的offset维护在zookeeper中. 0.9版本之后维护在kafka内部.

2 基本命令

2.1 kafka-topics.sh

  1. 查看topic
bin/kafka-topics.sh --list --bootstrap-server 192.168.135.39:9092
  1. 创建topic
bin/kafka-topics.sh --create --bootstrap-server 192.168.135.39:9092 --topic topic_name
# 指定两个分区三个副本
bin/kafka-topics.sh --create --bootstrap-server 192.168.135.39:9092 --topic topic_name --partitions 2 --replication-factor 3
  1. 查看topic详情
bin/kafka-topics.sh --describe --bootstrap-server 192.168.135.39:9092 --topic topic_name
  1. 修改topic分区数
# 分区数改为3(只能往大了改,否则报错)
bin/kafka-topics.sh --alter --bootstrap-server 192.168.135.39:9092 --topic topic_name --partitions 3
  1. 删除topic
bin/kafka-topics.sh --delete --bootstrap-server 192.168.135.39:9092 --topic topic_name

2.2 kafka-console-producer.sh

# 创建生产者
bin/kafka-console-producer.sh --broker-list 192.168.135.38:9092 --topic topic_name

2.3 kafka-console-consumer.sh

# 创建消费者
bin/kafka-console-consumer.sh --bootstrap-server 192.168.135.38:9092 --topic pbh
# 创建时指定消费者的组(使用相同的配置文件则被分为同一组,配置文件可在该目录下修改  )
bin/kafka-console-consumer.sh --bootstrap-server 192.168.135.38:9092 --topic pbh --consumer.config /opt/soft/kafka/config/consumer.properties
# 创建时指定消费者的组(直接指定版)
bin/kafka-console-consumer.sh --bootstrap-server 192.168.135.38:9092 --topic pbh --graph graph_name
最后修改:2022 年 08 月 22 日
如果觉得我的文章对你有用,请随意赞赏