首先了解一下kafka的基本概念

.

1. Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

2. Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

3. Partition

Partition是物理上的概念，每个Topic包含一个或多个Partition.

4. Producer

负责发布消息到Kafka broker

5. Consumer

消息消费者，向Kafka broker读取消息的客户端。

6. Consumer Group

每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

接下来在Ubuntu系统环境下测试简单的实例

# 进入kafka所在的目录

cd /usr/local/kafka

bin/zookeeper-server-start.sh config/zookeeper.properties

命令执行后不会返回Shell命令输入状态,zookeeper就会按照默认的配置文件启动服务,请千万不要关闭当前终端.启动新的终端，输入如下命令

cd /usr/local/kafka

bin/kafka-server-start.sh config/server.properties

kafka服务端就启动了,请千万不要关闭当前终端。启动另外一个终端,输入如下命令:

cd /usr/local/kafka

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab01

topic是发布消息发布的category,以单节点的配置创建了一个叫dblab01的topic.可以用list列出所有创建的topics,来查看刚才创建的主题是否存在

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic dblab01

 

bin/kafka-topics.sh --list --zookeeper localhost:2181  

 

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab01

并尝试输入如下信息：

 

hello hadoophello xmuhadoop world

然后再次开启新的终端或者直接按CTRL+C退出。然后使用consumer来接收数据,输入如下命令

cd /usr/local/kafka

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab01 --from-beginning

 

便可以看到刚才产生的三条信息。说明kafka安装成功。