kafka install

主机规划

　　HDP125、HDP126、HDP127、HDP128都作为KAFKA的Broker节点。

操作系统

　　Hadoop可以同时支持在Linux和Windows系统下进行安装，但是在windows系统下没有进行过大量的测试，不稳定容易出现问题。因此，我们使用Linux系统进行安装。

　　在国内企业中使用最多的Linux系统是CentOS，笔者就使用CentOS的最新版6.5（写作时）进行安装。

关闭iptables

关闭正在运行的iptbables防火墙：

service iptables stop

关闭开机自动启动iptables：

chkconfig iptables off

关闭SElinux

关闭自在运行的SElinux：

setenforce 0

修改配置文件，关闭开机自己启动SElinux：

vi /etc/selinux/config

SELINUX=disabled

配置主机名和映射：

注意：主机名只能用英文字母、数字、“-”。不能使用下划线“_”，会出现问题。

映射

　　Spark通过主机名来进行互相访问，通过修改/etc/hosts文件可配置本地主机名映射关系，在hosts文件中添加计算机的名称和IP的对应关系，如在本机中添加master的主机（假设IP为172.16.219.125）,在末尾添加内容为： 172.16.219.125 HDP125

　　所有主机都在/etc/hosts添加：

172.16.219.125  HDP125
172.16.219.126  HDP126
172.16.219.127  HDP127
172.16.219.128  HDP128

修改主机名

　　修改本次运行期间的主机名：

hostname HDP125

　　修改/etc/sysconfig/network文件，将主机名改为HDP125：

HOSTNAME=HDP125

　　操作系统启动的时候，会读取该文件并设置主机名。因此，修改后不会立即生效。只有当系统重启后，主机名便会生效。

　　在所有主机上执行上面两步，并把HDP125替换成相应主机名。

用户：

　　在所有主机上添加用户：

groupadd kafka
useradd kafka -g kafka

ZooKeeper集群的安装

　　参考3.1 ZooKeeper安装配置

Kafka集群

解压与软链接

tar -zxvf kafka_2.10-0.8.1.1.tgz -C /opt
ln -s /opt/kafka_2.10-0.8.1.1 /opt/kafka
chown -R kafka:kafka /opt/kafka /opt/kafka_2.10-0.8.1.1

配置

　　vi /opt/kafka/config/server.properties

broker.id=1
port=9092
log.dirs=/opt/kafka/tmp
host.name=HDP125
zookeeper.connect=HDP125:2181,HDP126:2181,HDP127:2181

　　注：把host.name改成相应的主机名；broker.id不能相同，逐个加1便可。

更多配置项参考[kafka配置属性](kafka_config_properties.md)

启动

启动ZooKeeper