Kafka 0.11 在Centos7下 集群安装

1、下载Kafka安装包。

1.到kafka官网，下载二进制安装包。选择Scala 2.11编译的版本。

2.将安装包分别上传到3台虚拟机上。

3.建议不要使用kafka自带的zookeeper。3台虚拟机要分别安装好zookeeper。这里不详细演示安装zookeeper步骤。

2、安装Kafka。

1.解压安装包。

tar xzvf kafka_2.11-0.11.0.0.tgz

2.将解压后的文件夹移到 /usr/bin目录下。并改名为kafka

3.新建用户和用户组 kafka

useradd kafka

4.将kafka文件夹的所属设为kafka。

chown -R kafka:kafka /usr/bin/kafka

3、配置Kafka。

1.建立log文件夹。

mkdir -p /var/log/kafka

chown -R kafka:kafka /var/log/kafka

2.编辑server.properties配置

vi /usr/bin/kafka/config/server.properties

修改以下几个地方

broker.id=0

log.dirs=/var/log/kafka/kafka-logs

zookeeper.connect=broker1:2181,broker2:2181,broker3:2181

注意：

broker.id 三台虚拟机的broker.id都是一样的，因为都在同一个集群里。

3.编辑consumer.properties配置

vi /usr/bin/kafka/config/consumer.properties

修改以下几个地方

zookeeper.connect=broker1:2181,broker2:2181,broker3:2181

broker.list=broker1:9092,broker2:9092,broker3:9092

4.将server.properties和consumer.properties复制到另外两台虚拟机。

4、启动Kafka集群。

1.启动zookeeper。

2.3台虚拟机都执行以下语句

/usr/bin/kafka/bin/kafka-server-start.sh config/server.properties &

5、验证Kafka集群是否安装成功。

1.发送消息，在其中一个虚拟机

/usr/bin/kafka/bin/kafka-console-producer.sh --broker-list broker1:9092,broker2:9092,broker3:9092 --topic my-replicated-topic5

2.接收消息，在另外一台虚拟机

bin/kafka-console-consumer.sh --zookeeper h1:2181,h2:2181,h3:2181/kafka --from-beginning --topic my-replicated-topic5

如果能接收到消息则表示kafka集群安装成功。