使用Ambari安装Hadoop集群
时间:2019-07-27 14:07 来源:linux.it.net.cn 作者:IT
声明：此次安装使用版本为Linux6.6，ambari文件ambari-1.7.0-centos6.tar.gz，HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz，HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz
关于Hadoop的一些组件需要用到的传统型数据库：MySQL,Derby，PostgerSQL。在Ambari安装过程中会自带这些数据库，可以默认安装，也可以自己安装。
本次实践是默认安装PostgerSQL。
1、环境准备
①配置主机名，命令：vi /etc/sysconfig/network
②配置地址映射，命令：vi /etc/hosts
修改内容：集群IP1 主机名
集群IP2 主机名
........
检验节点之间是否可以互相ping，命令：ping 主机名
③SSH免密钥登陆，步骤：
a、在ambari节点完成
（1）在终端生成密钥，命令：ssh-keygen -t rsa
（2）复制公钥文件，命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
（3）修改权限，命令：chmod 600 ~/.ssh/authorized_keys
（4）将authorized_keys复制到其他节点上，命令：scp ~/.ssh/authorized_keys 其他节点用户名@其他节点主机名:~/（如cluster@cluster1）
b、在其他节点上完成
（5）在终端生成密钥，命令：ssh-keygen -t rsa
（6）将authorized_keys文件拷贝或移动到~/.ssh目录上，命令：mv authorized_keys ~/.ssh
c、检验是否实现免密钥登录，在ambari节点上执行：ssh 其他节点的主机名
④集群同步时间（全部节点在root用户下执行），命令：(1)crontab -e ，添加内容：0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org（2）在终端执行命令：/usr/sbin/ntpdate cn.pool.ntp.org
⑤关闭防火墙iptables，在root用户下执行命令：setup，选择“Firewall configuration”，把“*”去掉，即按下空格键。通过Tab键选择OK选项，然后回车，保存修改内容
⑥关闭linux系统自带安全机制，（1）临时关闭，命令：setenforce 0 （2）永久关闭，命令：vi /etc/selinux/config 内容修改为：SELINUX=disabled
⑦关闭Packagekit，命令：vi /etc/yum/pluginconf.d/refresh-packagekit.conf 修改内容：enabled=0
⑧安装JDK，步骤：
（1）mkdir /usr/java
（2）tar -zxvf /usr/java/jdk-7u71-linux-x64.gz（jdk文件自己下载）
（3）配置只影响当前用户的文件，命令：vi ~/.bash_profile 添加内容：export JAVA_HOME=/usr/java/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH
（4）source ~/.bash_profile
（5）检验，命令：java -version
⑨ UMASK，命令：（在终端完成）echo umask 0022 >> /etc/profile
⑩搭建本地库，步骤：
（1）基本依赖组件安装：a、yum install createrepo b、yum install openssl c、yum install nc d、yum install redhat-lsb e、yum install gcc f、yum install python-devel g、yum install python-libs
（2）安装Apache httpd，命令：yum install httpd
（3）启动httpd，命令：service httpd start
（4）解压文件，命令：
tar -zxvf ambari-1.7.0-centos6.tar.gz -C /var/www/html
tar -zxvf HDP-2.2.0.0-centos6-rpm.tar.gz -C /var/www/html
tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html
（5）配置repo文件，命令a：vi /etc/yum.repos.d/ambari.repo 添加内容：
[ambari]
name=ambari
baseurl=http://IP地址/ambari/centos6/1.x/updates/1.7.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.7.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
命令b：vi /etc/yum.repos.d/hdp.repo 添加内容：
[HDP]
name=HDP
baseurl=http://IP地址/HDP/centos6/2.x/GA/2.2.0.0/
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
命令c：vi /etc/yum.repos.d/hdp-utils.repo 添加内容：
[HDP-UTILS]
name=HDPUtils
baseurl=http://IP地址/HDP-UTILS-1.1.0.20/repos/centos6/
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
（6）检验是否有效，在浏览器打开：http://IP地址/ambari
⑪ambari组件安装，步骤：（1）yum install ambari-server （2）ambari-server setup -j /usr/java/jdk1.7.0_71/ （3）ambari-server start
⑫打开C:\Windows\System32\drivers\etc\hosts 添加内容：IP地址 主机名
⑬登录Ambari WebUI ，通过http://主机名:8080访问，用户名、密码默认为admin，admin
⑭在Target Hosts添加要部署的集群主机名，在添加ssh文件选择添加ambari节点的id_rsa文件
参考博客文章：http://hf200012.iteye.com/blog/1836311
(责任编辑：IT)
| 声明：此次安装使用版本为Linux6.6，ambari文件ambari-1.7.0-centos6.tar.gz，HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz，HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库：MySQL,Derby，PostgerSQL。在Ambari安装过程中会自带这些数据库，可以默认安装，也可以自己安装。 本次实践是默认安装PostgerSQL。 1、环境准备 ①配置主机名，命令：vi /etc/sysconfig/network ②配置地址映射，命令：vi /etc/hosts 修改内容：集群IP1 主机名 集群IP2 主机名 ........ 检验节点之间是否可以互相ping，命令：ping 主机名 ③SSH免密钥登陆，步骤： a、在ambari节点完成 （1）在终端生成密钥，命令：ssh-keygen -t rsa （2）复制公钥文件，命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys （3）修改权限，命令：chmod 600 ~/.ssh/authorized_keys （4）将authorized_keys复制到其他节点上，命令：scp ~/.ssh/authorized_keys 其他节点用户名@其他节点主机名:~/（如cluster@cluster1） b、在其他节点上完成 （5）在终端生成密钥，命令：ssh-keygen -t rsa （6）将authorized_keys文件拷贝或移动到~/.ssh目录上，命令：mv authorized_keys ~/.ssh c、检验是否实现免密钥登录，在ambari节点上执行：ssh 其他节点的主机名 ④集群同步时间（全部节点在root用户下执行），命令：(1)crontab -e ，添加内容：0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org（2）在终端执行命令：/usr/sbin/ntpdate cn.pool.ntp.org ⑤关闭防火墙iptables，在root用户下执行命令：setup，选择“Firewall configuration”，把“*”去掉，即按下空格键。通过Tab键选择OK选项，然后回车，保存修改内容 ⑥关闭linux系统自带安全机制，（1）临时关闭，命令：setenforce 0 （2）永久关闭，命令：vi /etc/selinux/config 内容修改为：SELINUX=disabled ⑦关闭Packagekit，命令：vi /etc/yum/pluginconf.d/refresh-packagekit.conf 修改内容：enabled=0 ⑧安装JDK，步骤： （1）mkdir /usr/java （2）tar -zxvf /usr/java/jdk-7u71-linux-x64.gz（jdk文件自己下载） （3）配置只影响当前用户的文件，命令：vi ~/.bash_profile 添加内容：export JAVA_HOME=/usr/java/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH （4）source ~/.bash_profile （5）检验，命令：java -version ⑨ UMASK，命令：（在终端完成）echo umask 0022 >> /etc/profile ⑩搭建本地库，步骤： （1）基本依赖组件安装：a、yum install createrepo b、yum install openssl c、yum install nc d、yum install redhat-lsb e、yum install gcc f、yum install python-devel g、yum install python-libs （2）安装Apache httpd，命令：yum install httpd （3）启动httpd，命令：service httpd start （4）解压文件，命令： tar -zxvf ambari-1.7.0-centos6.tar.gz -C /var/www/html tar -zxvf HDP-2.2.0.0-centos6-rpm.tar.gz -C /var/www/html tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html （5）配置repo文件，命令a：vi /etc/yum.repos.d/ambari.repo 添加内容： [ambari] name=ambari baseurl=http://IP地址/ambari/centos6/1.x/updates/1.7.0 gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.7.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 命令b：vi /etc/yum.repos.d/hdp.repo 添加内容： [HDP] name=HDP baseurl=http://IP地址/HDP/centos6/2.x/GA/2.2.0.0/ gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 命令c：vi /etc/yum.repos.d/hdp-utils.repo 添加内容： [HDP-UTILS] name=HDPUtils baseurl=http://IP地址/HDP-UTILS-1.1.0.20/repos/centos6/ gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 （6）检验是否有效，在浏览器打开：http://IP地址/ambari ⑪ambari组件安装，步骤：（1）yum install ambari-server （2）ambari-server setup -j /usr/java/jdk1.7.0_71/ （3）ambari-server start ⑫打开C:\Windows\System32\drivers\etc\hosts 添加内容：IP地址 主机名 ⑬登录Ambari WebUI ，通过http://主机名:8080访问，用户名、密码默认为admin，admin ⑭在Target Hosts添加要部署的集群主机名，在添加ssh文件选择添加ambari节点的id_rsa文件 参考博客文章：http://hf200012.iteye.com/blog/1836311 (责任编辑：IT) |