Kafka学习笔记(1)—-Kafka的简介和Linux下单机安装

1、 Kafka简介

  Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者

为Consumer,此外kafka集群有多个kafka实例组成,每个实例成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

  87_1.png

2、 ubuntu下安装Kafka

  环境说明: 

  1、 os:Ubuntu 16.04

  2、 zookeeper:zookeeper 3.4.13

  3、 kafka:kafka_2.11-2.0.1

  4、 jdk:jdk 8(kafka启动需要使用到jdk)

2.1 jdk安装

  jdk在安装是较为常见的,所以这里就不再详细介绍了。

2.2 zookeeper安装

  首先下载zookeeper,下载地址为:http://mirror.bit.edu.cn/apache/zookeeper/,如当前源不能访问,请自行更换其他源。如图:

  87_2.png

  根据自己的需要的版本下载相应的.tar.gz文件,将下载的文件上传到服务器上。通过Xshell 6端,使用命令rz。

  解压文件:

  87_3.png

  解压后进入conf文件夹,

  将zoo_sample.cfg拷贝一份为zoo.cfg

  如下:

  87_4.png

  修改zoo.cfg文件:

  87_5.png

  为zookeeper配置环境变量:

vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/middle/zookeeper-3.4.13
export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

  87_6.png

保存退出

  使用zkServer.sh start启动zookeeper服务:

  87_7.png

启动成功,配置正确,然后关闭服务zkServer.sh stop

2.3 安装配置Kafka单机模式

  下载Kafka,下载地址为:http://mirror.bit.edu.cn/apache/kafka/2.0.1/,如果源不可用,自行更换其他源。如图:

  87_8.png

  下载自己需要的版本

  将下载的Kafka上传到服务器,使用如下命令解压:

tar -zxvf kafka_2.11-2.0.1.tgz 

  解压后进入到config文件夹,如下:

  87_9.png

  分别配置三个文件:

  server.properties:

  主要配置以下几项,其他的都按默认配置即可

broker.id=1
#指定端口
port=9092
#指定主机
host.name=localhost #数据存储位置 log.dirs=/usr/local/middle/kafka_2.11-2.0.1/kafka-logs #连接zookeeper配置项,这里指定的是单机,所以只需要配置localhost,若是实际生产环境,需要在这里添加其他ip地址和端口号 zookeeper.connect=localhost:2181

  如图:

·87_10.png

  zookeeper.properties配置:

  87_11.png

  producer.properties配置:

  87_12.png

  consumer.properties配置:

  87_13.png

  启动kafka:

  1、 启动zookeeper服务

  进入kafka根目录,使用如下命令启动zookeeper。

bin/zookeeper-server-start.sh config/zookeeper.properties

  如图:

87_14.png

87_15.png

  会执行环境变量配置的zk,出现如上图所示表示启动成功。

  新开一个会话启动kafka,使用如下命令:

bin/kafka-server-start.sh config/server.properties

  如下图: 

 87_16.png

87_17.png

  出现如上图则表示kafka启动成功。

  至此,单机的Kafka安装完成了。

原文 Kafka学习笔记(1)—-Kafka的简介和Linux下单机安装

https://www.cnblogs.com/xiaoshen666/category/1464320.html

文章永久链接:https://www.ycbbs.vip/?p=8244

赞(0) 打赏



未经允许不得转载:Java研发军团 » Kafka学习笔记(1)—-Kafka的简介和Linux下单机安装

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章整理人员

微信扫一扫打赏

微信扫一扫打赏