阿坝州网站建设公司

linuxzookeeperkafka-创新互联

文章目录
          • 一、zookeeper服务搭建
            • 1. 下载
            • 2. 解压
            • 3. 创建目录
            • 4. 调整配置
            • 5. 配置myid
            • 6. 开放防火墙
            • 7.启动验证zk
          • 二、kafka集群搭建
            • 2.1. 下载软件
            • 2.2. 解压
            • 2.3. 配置
            • 2.5. 启动kafka
          • 三、测试验证
            • 3.1. 创建一个主题
            • 3.2. 发送消息
            • 3.3. 消费消息

预先准备：
上传软件至服务器192.168.105.125、192.168.105.129、192.168.130
kafka_2.12-2.2.0、zookeeper-3.4.8.tar.gz

成都创新互联公司是一家专业提供都匀企业网站建设,专注与网站设计、网站建设、成都h5网站建设、小程序制作等业务。10年已为都匀众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。一、zookeeper服务搭建 1. 下载

同时在125、129、130节点依次执行

mkdir /app
cd /app
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
2. 解压
tar -zxvf zookeeper-3.4.8.tar.gz
3. 创建目录
cd /app/zookeeper-3.4.8
mkdir data logs
4. 调整配置
cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg

第一处：配置dataDir

dataDir=/app/zookeeper-3.4.8/data

第二处：新增配置

server.1=192.168.105.125:2288:3388
server.2=192.168.105.129:2288:3388
server.3=192.168.105.130:2288:3388
5. 配置myid
  • 125节点
vim /app/zookeeper-3.4.8/data/myid

内容：1

  • 129节点
vim /app/zookeeper-3.4.8/data/myid

内容：2

  • 130节点
vim /app/zookeeper-3.4.8/data/myid

内容：3

6. 开放防火墙

125/129/130节点依次执行

firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2288/tcp --permanent
firewall-cmd --zone=public --add-port=3388/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-ports
7.启动验证zk
/app/zookeeper-3.4.8/bin/zkServer.sh start  /app/zookeeper-3.4.8/conf/zoo.cfg
/app/zookeeper-3.4.8/bin/zkServer.sh status  /app/zookeeper-3.4.8/conf/zoo.cfg
二、kafka集群搭建

同时在125、129、130节点依次执行

2.1. 下载软件
wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
2.2. 解压
tar -zxvf kafka_2.12-2.2.0.tgz
2.3. 配置
cd /app/kafka_2.12-2.2.0/config
cp server.properties server.properties.bak
  • 125节点
vim server.properties

内容如下：

broker.id=1
listeners=PLAINTEXT://192.168.105.125:9092
advertised.listeners=PLAINTEXT://192.168.105.125:9092
port=9092
host.name=192.168.105.125
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
  • 129节点
vim server.properties

内容如下：

broker.id=2
listeners=PLAINTEXT://192.168.105.129:9092
advertised.listeners=PLAINTEXT://192.168.105.129:9092
port=9092
host.name=192.168.105.125
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
  • 130节点
vim server.properties

内容如下：

broker.id=3
listeners=PLAINTEXT://192.168.105.130:9092
advertised.listeners=PLAINTEXT://192.168.105.130:9092
port=9092
host.name=192.168.105.130
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
``
###### 2.4. 防火墙
125/129/130节点依次执行

```bash
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-ports
2.5. 启动kafka

启动kafka（第一次前台）

cd /app/kafka_2.12-2.2.0
./bin/kafka-server-start.sh config/server.properties

启动kafka（前台）

cd /app/kafka_2.12-2.2.0
./bin/kafka-server-start.sh -daemon config/server.properties

125节点
在这里插入图片描述
129节点
在这里插入图片描述

130节点
在这里插入图片描述

三、测试验证 3.1. 创建一个主题

使用kafka，创建一个主题（topic）

bin/kafka-topics.sh --create --zookeeper 192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181 --replication-factor 1 --partitions 1 --topic pis-business
3.2. 发送消息
bin/kafka-console-producer.sh --broker-list 192.168.105.125:9092 --topic pis-business

在这里插入图片描述

3.3. 消费消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.105.125:9092  --from-beginning --topic pis-business

在这里插入图片描述

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧


名称栏目：linuxzookeeperkafka-创新互联
转载来于：http://azwzsj.com/article/ccghio.html

其他资讯