从零开始搭建 Kafka 集群

一、搭建设计

图片

1.1. 机器分配

• kafka1(192.168.150.111)

• kafka2(192.168.150.112)

• kafka3(192.168.150.113)

1.2.linux安装以及Jdk安装

二、修改Linux主机名称

hostnamectl set-hostname kafka1

hostnamectl set-hostname kafka2

hostnamectl set-hostname kafka3

三、配置主机名映射

在Windows系统中修改hosts文件，填入如下内容：

192.168.150.111 kafka1
192.168.150.112 kafka2
192.168.150.113 kafka3

图片

图片

在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）。

192.168.150.111 kafka1
192.168.150.112 kafka2
192.168.150.113 kafka3

四、配置SSH免密登录

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆。

在每一台机器都执行：

ssh-keygen -t rsa -b 4096

一路回车到底即可 2. 在每一台机器都执行：

ssh-copy-id kafka1
ssh-copy-id kafka2
ssh-copy-id kafka3

执行完毕后，kafka1、kafka2、kafka3之间将完成root用户之间的免密互通。

• 测试免密登录 完成以上步骤后，你应该能够使用SSH免密登录到目标服务器了。只需执行以下命令：ssh 用户名@remote_host。

ssh rootmkafka1
ssh root@kafka2
ssh root@kafka3

五、修改时区并配置自动时间同步

#1. 安装ntp软件
yum install -y ntp
#2. 更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#3. 同步时间
ntpdate -u ntp.aliyun.com
#4. 开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd

六、VMware虚拟机集群上部署Zookeeper集群

当前使用发行版：3.8.4版。

可以在https://downloads.apache.org/zookeeper/选择对应版本下载：

图片

注意：以下操作，kafka1节点执行，以root身份登陆。

1.上传zookeeper安装包到kafka1节点中。

2.创建/export/server/。

mkdir -p /export/server/

解压缩安装包到/export/server/中。

tar -zxvf apache-zookeeper-3.8.4.tar.gz -C /export/server/

3.在 cd /export/server/apache-zookeeper-3.8.4-bin/conf/创建zoo.cfg。

# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg

4.修改Zookeeper保存数据的目录。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data

5.编辑zoo.cfg文件。

vim zoo.cfg

内容如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/export/server/apache-zookeeper-3.8.4-bin/data
# the port at which the clients will connect
clientPort=2181
server.1=192.168.150.111:2888:3888
server.2=192.168.150.112:2888:3888
server.3=192.168.150.113:2888:3888

图片

创建myid文件，配置服务器编号 服务器zookeeper的dataDir对应目录下创建 myid 文件，内容为对应ip的zookeeper服务器编号。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data
echo 1 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

7.分发zookeeper文件夹

# 在kafka1执行如下命令
cd /export/server
scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka2:`pwd`/

scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka3:`pwd`/

8.在kafka2上修改myid

echo 2 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

9.在kafka3上修改myid

echo 3 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

七、VMware虚拟机集群上部署Kafka集群

本次使用的Kafka版本为2.4.1，是2020年3月12日发布的版本。 可以注意到Kafka的版本号为：kafka_2.12-2.4.1，因为kafka主要是使用scala语言开发的，2.12为scala的版本号。http://kafka.apache.org/downloads可以查看到每个版本的发布时间。

图片

1.将Kafka的安装包上传到虚拟机。

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
 cd /export/server/kafka_2.12-2.4.1/

2.修改 server.properties。

cd /export/server/kafka_2.12-2.4.1/config
vim server.properties

内容如下：

# 指定broker的id
broker.id=0
# 指定Kafka数据的位置
log.dirs=/export/server/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.cnotallow=kafka1:2181,kafka2:2181,kafka3:2181

3.将安装好的kafka复制到另外两台服务器。

cd /export/server
scp -r apache-zookeeper-3.8.4 kafka2:`pwd`/

scp -r apache-zookeeper-3.8.4 kafka3:`pwd`/

4.修改另外两个节点的broker.id分别为1和2。

---------kafka1--------------
cd /export/server/kafka_2.12-2.4.1/config
vim erver.properties
broker.id=1

---------kafka2--------------
cd /export/server/kafka_2.12-2.4.1/config
vim erver.properties
broker.id=2

八、配置Zookeeper和KAFKA_HOME环境变量

vim /etc/profile
JAVA_HOME=/export/server/jdk1.8.0_361
KAFKA_HOME=/export/server/kafka_2.12-2.4.1
ZOKEEPER_HOME=/export/server/apache-zookeeper-3.8.4-bin/
PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOKEEPER_HOME/bin
export PATH


分发到各个节点
scp /etc/profile kafka2:$PWD
scp /etc/profile kafka2:$PWD
每个节点加载环境变量
source /etc/profile

九、启动Zookeeper

1.在三台机器上启动Zookeeper。

zkServer.sh start

图片

2.在三台机器上查看Zookeeper状态。

zkServer.sh status

图片

图片

十、启动Kafka

[root@kafka1 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

[root@kafka2 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties


[root@kafka3 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

kafka1节点的Cluster Id：

图片

kafka2节点的Cluster Id：

图片

kafka3节点的Cluster Id：

图片

十一、查看Kakka队列

1.创建主题(名字叫test)：

kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test

2.查询当前kafka的所有主题：

kafka-topics.sh --bootstrap-server kafka3:9092 --list