转载自：https://blog.51cto.com/littledevil/2147950
主题管理
创建主题
如果配置了auto.create.topics.enable=true（这也是默认值）这样当生产者向一个没有创建的主题发送消息就会自动创建，其分区数量和副本数量也是有默认配置来控制的。
# 我们这里创建一个3个分区每个分区有2个副本的主题
kafka-topics.sh --create --zookeeper 172.16.48.171:2181/kafka --replication-factor 2 --partitions 3 --topic KafkaTest| –create | 表示建立 |
| –zookeeper |
表示ZK地址，可以传递多个，用逗号分隔 –zookeeper IP:PORT,IP:PORT,IP:PORT/kafka |
| –replication-factor | 表示副本数量，这里的数量是包含Leader副本和Follower副本，副本数量不能超过代理数量 |
| –partitions | 表示主题的分区数量，必须传递该参数。Kafka的生产者和消费者采用多线程并行对主题的消息进行处理，每个线程处理一个分区，分区越多吞吐量就会越大，但是分区越多也意味着需要打开更多的文件句柄数量，这样也会带来一些开销。 |
| –topic | 表示主题名称 |
在Zookeeper中可以看到如下信息
删除主题
删除有两种方式手动和自动
-
手动方式需要删除各个节点日志路径下的该主题所有分区，并且删除zookeeper上/brokers/topics和/config/topics下的对应主题节点
-
自动删除就是通过脚本来完成，同时需要配置服务器配置文件中的delete.topic.enable=true，默认为false也就是说通过命令删除主题只会删除ZK中的节点，日志文件不会删除需要手动清理，如果配置为true，则会自动删除日志文件。
kafka-topics.sh --delete --zookeeper 172.16.48.171:2181/kafka --topic KafkaTest
下面的两句话就是说该主题标记为删除/admin/delete_topics节点下。实际数据没有影响因为该参数没有设置为true。
查看主题
# 列出所有主题
kafka-topics.sh --list --zookeeper 172.16.48.171:2181/kafka
下面是从ZK中看到的所有主题
# 查看所有主题信息
kafka-topics.sh --describe --zookeeper 172.16.48.171:2181/kafka
# 查看特定主题信息
kafka-topics.sh --describe --zookeeper 172.16.48.171:2181/kafka --topic BBB
Replicas：是AR列表，表示副本分布在哪些代理上，且该列表第一个元素就是Leader副本所在代理
ISR：该列表是显示已经同步的副本集合，这个列表的副本都是存活的
# 通过--describe 和 --under-replicated-partitions 可以查看正在同步的主题或者同步可能发生异常，
# 也就是ISR列表长度小于AR列表，如果一切正常则不会返回任何东西，也可以通过 --tipic 指定具体主题
kafka-topics.sh --describe --zookeeper 172.16.48.171:2181/kafka --under-replicated-partitions# 查看哪些主题建立时使用了单独的配置
kafka-topics.sh --describe --zookeeper 172.16.48.171:2181/kafka --topics-with-overrides这里只有一个内部主题__comsumer_offsets使用了非配置文件中的设置
配置管理
所谓配置就是参数，比如修改主题的默认参数。
主题级别的
# 查看配置
kafka-configs.sh --describe --zookeeper 172.16.48.171:2181/kafka --entity-type topics --entity-name BB这里显示 Configs for topic 'BBB' are 表示它的配置有哪些，这里没有表示没有为该主题单独设置配置，都是使用的默认配置。
# 增加一个配置
kafka-configs.sh --zookeeper 172.16.48.171:2181/kafka --entity-type topics --entity-name BBB --alter --add-config flush.messages=2
如果修改的话还是相同的命令，只是把值修改一下
# 删除配置
kafka-configs.sh --zookeeper 172.16.48.171:2181/kafka --entity-type topics --entity-name BBB --alter --delete-config flush.messages
客户端级别
这个主要是设置流控
# 设置指定消费者的流控 --entity-name 是客户端在创建生产者或者消费者时是指定的client.id名称
kafka-configs.sh --zookeeper 172.16.48.171:2181/kafka --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=1024' --entity-type clients --entity-name COMSUMER_NAME
下图为ZK中对应的信息
分区管理
分区平衡
Leader副本在集群中应该是均衡分布，因为Leader副本对外提供读写服务，尽可能不让同一个主题的多个Leader副本在同一个代理上，但是随着时间推移比如故障转移等情况发送，Leader副本可能不均衡。有两种方式设置自动平衡，自动和手动。
自动就是在配置文件中增加 auto.leader.rebalance.enable = true 如果该项为false，当某个节点故障恢复并重新上线后，它原来的Leader副本也不会转移回来，只是一个Follower副本。
手动就是通过命令来执行
kafka-preferred-replica-election.sh --zookeeper 172.16.48.171:2181/kafka分区迁移
当下线一个节点需要将该节点上的分区副本迁移到其他可用节点上，Kafka并不会自动进行分区迁移，如果不迁移就会导致某些主题数据丢失和不可用的情况。当增加新节点时，只有新创建的主题才会分配到新节点上，之前的主题分区不会自动分配到新节点上，因为老的分区在创建时AR列表中没有这个新节点。
上面2个主题，每个主题3个分区，每个分区3个副本，我们假设现在代理2要下线，所以我们要把代理2上的这两个主题的分区数据迁移出来。
# 1. 在KAFKA目录的config目录中建立topics-to-move.json文件
{"topics":[{"topic":"AAA"},{"topic":"BBB"}],"version":1
}
# 2. 生成分区分配方案，只是生成一个方案信息然后输出
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --topics-to-move-json-file ./topics-to-move.json --broker-list "1,2" --generate
这个命令的原理是从zookeeper中读取主题元数据信息及制定的有效代理，根据分区副本分配算法重新计算指定主题的分区副本分配方案。把【Proposed partition reassignment configuration】下面的分区方案保存到一个JSON文件中，partitions-reassignment.json 文件名无所谓。
# 3. 执行方案
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --reassignment-json-file ./partitions-reassignment.json --execute
# 4. 查看进度
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --reassignment-json-file ./partitions-reassignment.json --verify
查看结果，这里已经没有代理0了。
集群扩容
上面演示了节点下线的数据迁移，这里演示一下集群扩容的数据迁移。我们还是用上面两个主题，假设代理0又重新上线了。其实扩容就是上面的反向操作
# 1. 建立JSON文件
# 该文件和之前的相同
# 2. 生成方案并保存到一个JSON文件中
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --topics-to-move-json-file ./topics-to-move.json --broker-list "0,1,2" --generate
# 3. 数据迁移，这里通过--throttle做一个限流操作，如果数据过大会把网络堵塞。
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --reassignment-json-file ./partitions-reassignment.json --execute --throttle 1024
查看进度和结果
增加分区
通常在需要提供吞吐量的时候我们会增加分区，然后如果代理数量不扩大，同时生产者和消费者线程不增大，你扩展了分区也没有用。
kafka-topics.sh --alter --zookeeper 172.16.48.171:2181/kafka --partitions 3 --topic KafkaTest03
增加副本
集群规模扩大并且想对所有主题或者指定主题提高可用性，那么可以增加原有主题的副本数量
上面是3个分区，每个分区1个副本，我们现在把每个分区扩展为3个副本
# 1. 创建JSON文件 replica-extends.json
{"version": 1,"partitions": [{"topic": "KafkaTest04","partition": 0,"replicas": [0,1,2]},{"topic": "KafkaTest04","partition": 1,"replicas": [0,1,2]},{"topic": "KafkaTest04","partition": 2,"replicas": [0,1,2]}]
}# 2. 执行分区副本重新分配命令
kafka-reassign-partitions.sh --zookeeper 172.16.48.171:2181/kafka --reassignment-json-file ./replica-extends.json --execute
查看状态
查看结果
镜像操作
Kafka有一个镜像工具kafka-mirror-maker.sh，用于将一个集群数据同步到另外一个集群中，这个非常有用，比如机房搬迁就需要进行数据同步。该工具的本质就是创建一个消费者，在源集群中需要迁移的主题消费数据，然后创建一个生产者，将消费的数据写入到目标集群中。
首先创建消费者配置文件mirror-consumer.properties（文件路径和名称是自定义的）
# 源kafka集群代理地址列表
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
# 消费者组名
group.id=mirror其次创建生产者配置文件mirror-producer.properties（文件路径和名称是自定义的）
# 目标kafka集群地址列表
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092运行镜像命令
# 通过 --whitelist 指定需要镜像的主题，通过 --blacklist 指定不需要镜像的主题
kafka-mirror-maker.sh --consumer.config PATH/mirror-consumer.properties --producer.config PATH/mirror-producer.properties --whitelist TOPIC由于镜像操作是启动一个生产者和消费者，所以数据同步完成后这个生产者和消费者并不会关闭，它会依然等待新数据，所以同步完成以后你需要自己查看，确认完成了则关闭生产者和消费者。
支付宝扫一扫
微信扫一扫
.png)
.png)
