###Kafka集群的安装和部署

####1. 安装部署zookeeper 因为已经在上一篇文章中部署了Pivtoal HD，所以zookeeper已经部署过了，这里可以直接使用；如果没有现成的zookeeper，也可以使用kafka自带的zookeeper。

####2. 下载kafka 从官方网站下载kafka二进制安装包，解压缩kafka_2.9.1-0.8.2.1.tgz 并修改名称为kafka,存放于

1

/opt/kafka

####3. 配置kafka的环境变量KAFKA_HOME、PATH

####4. 修改

1

conf/server.properties

1
2
3
4
zookeeper.connect=phd3-m1.xxb.cn:2181,phd3-m1.xxb.cn:2181,phd3-m1.xxb.cn:2181
broker.id=1(其他两个机器是2，3)
host.name=kafka1
log.dirs=/opt/kafka/kafka-logs(文件夹权限为755)

####5. 然后复制kafka文件夹到集群内的其他机器上 注意修改host.name

####6. 启动kafka

1
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &

####7. 创建topic

1
2
3
4
5
/opt/kafka/bin/kafka-topics.sh --create --zookeeper phd3-m1:2181 --replication-factor 1 --partitions 1 --topic price
/opt/kafka/bin/kafka-topics.sh --create --zookeeper phd3-m1:2181 --replication-factor 1 --partitions 1 --topic order
/opt/kafka/bin/kafka-topics.sh --create --zookeeper phd3-m1:2181 --replication-factor 1 --partitions 1 --topic orderqueue
/opt/kafka/bin/kafka-topics.sh --create --zookeeper phd3-m1:2181 --replication-factor 1 --partitions 1 --topic transaction
/opt/kafka/bin/kafka-topics.sh --create --zookeeper phd3-m1:2181 --replication-factor 1 --partitions 1 --topic product

####8. 监控kafka 这里使用的yahoo开源的kafka监控工具，先准备sbt环境（sbt是scala的打包构建工具）

1
2
curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
yum install sbt

然后将源码clone下来

1
git clone https://github.com/yahoo/kafka-manager.git

编辑

1

conf/application.conf

1

kafka-manager.zkhosts="phd3-m1:2181"

使用sbt编译安装，编译后生成部署包，解压缩后，是一个play的应用，启动即可

1
2
3
4
5
6
cd /root/kafka-manager
sbt clean dist
cp /root/kafka-manager/target/universal/kafka-manager-1.2.5.zip /opt/
unzip kafka-manager-1.2.5.zip
cd /opt/kafka-manager-1.2.5/bin
./kafka-manager &

然后通过9000端口访问：

####9. 设置JMX监控kafka性能指标数据 修改

1

/opt/kafka/bin/kafka-server-start.sh

1
2
3
4
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"
fi

这样重启kafka后，通过kafka-manager的web界面可以监控到性能指标。

###Pivotal HD 3.0的集群规划及安装配置

####1. 准备工作

• 操作系统：CentOS 6.4+ (64-bit)
• 软件工具：python2.6以上、Oracle jdk-7u67-linux-x64.tar.gz、openssl-1.0.1e-16.el6.x86_64以上
• 数据库：mysql5.x

####2. 操作系统无密码认证 这个大家都会，就不说了

####3. 其他一些注意事项

• 所有服务器的时钟一定要同步，一致
• 主机名的dns解析
• iptables关闭
• selinux关闭
• 如果安装了PackageKit，要修改配置文件

  1	/etc/yum/pluginconf.d/refresh-packagekit.conf

  ，改为enabled=0
• 关闭ipv6

1
2
3
4
5
6
7
8
9
10
> mkdir -p /etc/sysctl.d
> ( cat > /etc/sysctl.d/99-hadoop-ipv6.conf <<-'EOF'
## Disabled ipv6
## Provided by Ambari Bootstrap
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
EOF
    )
> sysctl -e -p /etc/sysctl.d/99-hadoop-ipv6.conf

• 关闭Transparent Huge Pages (THP)，添加以下内容到

  1	/etc/rc.local

  ,然后重启OS

1
  if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag; fi  

###4. 以上准备工作完成后，安装Ambari Server

• 安装httpd服务
• 创建Staging目录

1
2
mkdir /staging
chmod a+rx /staging

• 从https://network.pivotal.io/products/pivotal-hd连接下载Pivotal Ambari 1.7.1压缩包，并解压缩

1
tar -xvzf /staging/AMBARI-1.7.1-87-centos6.tar.gz -C /staging/

• 配置本地的YUM源

1
/staging/AMBARI-1.7.1/setup_repo.sh

• 测试可以YUM可用

1
curl http://localhost/AMBARI-1.7.1/repodata/repomd.xml

• 通过本地的YUM源安装Ambari Server

1
yum install ambari-server

• 配置Ambari Server

1
ambari-server setup

根据提示配置，需要Oracle JDK1.7，不支持JDK1.6，另外需要一个关系型数据库，如postgres或是mysql均可

• 启动Ambari Server

1
ambari-server start

###5. 下载需要的安装文件

• 下载后的文件解压缩至staging目录：

1
tar -xzf /tmp/{stack}.tar.gz -C /staging/

• 对于以上四个安装包，每一个都要配置YUM

1
/staging/{stack}/setup_repo.sh

6. 登录到Ambari Server的管理台

默认地址是 http://ip:8080 默认用户名密码是 admin/admin

1. 创建一个新的集群
2. 修改YUM的配置为本地的YUM（就是刚刚前面自己配置的）
3. 编辑集群的主机名和SSH KEY
4. 选择要安装的软件
5. 分配Masters和Slaves
6. 后台程序会自动检测目前环境下有哪些不符合要求的，会给出解决方法，一定要手动都处理完
7. 最后就是等待了，要安装十几分钟的
8. 至此一个新的Hadoop集群已经创建完成了

###欧耶，我的个人主页

搞了两天，终于把个人主页弄好了。

基于Github Page的个人主页，是不是Geek范十足？

如果再有个独立域名就更完美了，不过先这样吧，等抽空在考虑独立域名的事。

（完）

–来自https://hj1984930.github.io/