100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager

时间:2020-11-18 20:25:45

相关推荐

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager

Kafka 搭建:

建立Zookeeper容器:

这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器。

$ docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

默认的,容器内配置文件在,/conf/zoo.cfg,数据和日志目录默认在/data 和 /datalog,需要的话可以将上述目录映射到宿主机的可靠文件目录下。

建立kafka集群节点:

使用docker命令可快速在同一台机器搭建多个kafka,只需要改变brokerId和端口

节点1:

$ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

节点2:

$ docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

节点3:

$ docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

这里面主要设置了4个参数

KAFKA_BROKER_ID=0KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092复制代码

中间两个参数的192.168.0.102改为宿主机器的IP地址,如果不这么设置,可能会导致在别的机器上访问不到 kafka。

怎么查看本机的 ip:

$ ifconfig en0

测试kafka:

进入kafka容器的命令行

$ docker exec -ti kafka /bin/bash

进入kafka所在目录

$ cd opt/kafka_2.12-1.1.0/

创建Replication为2,Partition为2的topic:

$ bin/kafka-topics.sh --create --zookeeper 192.168.0.102:2181 --replication-factor 2 --partitions 2 --topic partopic

或者可以通过kafka-manager创建

查看topic的状态:

在kafka容器中的opt/kafka_2.12-1.1.0/目录下输入

$ bin/kafka-topics.sh --describe --zookeeper 192.168.0.102:2181 --topic partopic

显示每个分区的Leader机器为broker0,在broker0和1上具有备份,Isr代表存活的备份机器中存活的。 当停掉kafka1后,

$ docker stop kafka1

再查看topic状态,输出结果:

Topic:partopic PartitionCount:2 ReplicationFactor:2 Configs:Topic: partopic Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0Topic: partopic Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0复制代码

创建Kafka管理节点:

kafka-manager有图形化UI,可以方便的监控集群状态,调整队列配置

$ docker run -itd --restart=always --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.0.102:2181" sheepkiller/kafka-manager

容器启动以后访问主机的9000端口,0.0.0:9000

首次进入需要添加一个集群标识,如下图所示

配置好以后,通过Zookeeper该管理节点可以读取到整个Kafka集群的信息,并且我们可以通过JMX直接看到集群的健康状态

也可以看到主题的读写速度,偏移量等信息,如下图所示:

Brokers ,Partitions,Replicas 都能看到

以及 group:

参考文章:

/lblblblblzd…

/lblblblblzd…

原文地址: mac 使用 docker搭建 kafka集群 + Zookeeper + kafka-manager

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。