当前位置: > Linux集群 > Hadoop >

使用Ambari安装Hadoop集群

时间:2019-07-27 14:07来源:linux.it.net.cn 作者:IT
声明:此次安装使用版本为Linux6.6,ambari文件ambari-1.7.0-centos6.tar.gz,HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz,HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz

关于Hadoop的一些组件需要用到的传统型数据库:MySQL,Derby,PostgerSQL。在Ambari安装过程中会自带这些数据库,可以默认安装,也可以自己安装。

本次实践是默认安装PostgerSQL。

1、环境准备

①配置主机名,命令:vi /etc/sysconfig/network



②配置地址映射,命令:vi /etc/hosts

修改内容:集群IP1   主机名

 集群IP2   主机名

    ........

检验节点之间是否可以互相ping,命令:ping 主机名



③SSH免密钥登陆,步骤:

a、在ambari节点完成

(1)在终端生成密钥,命令:ssh-keygen -t rsa 

(2)复制公钥文件,命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

(3)修改权限,命令:chmod 600 ~/.ssh/authorized_keys

(4)将authorized_keys复制到其他节点上,命令:scp ~/.ssh/authorized_keys 其他节点用户名@其他节点主机名:~/(如cluster@cluster1)

b、在其他节点上完成

(5)在终端生成密钥,命令:ssh-keygen -t rsa

(6)将authorized_keys文件拷贝或移动到~/.ssh目录上,命令:mv authorized_keys ~/.ssh

c、检验是否实现免密钥登录,在ambari节点上执行:ssh 其他节点的主机名



④集群同步时间(全部节点在root用户下执行),命令:(1)crontab -e ,添加内容:0 1 * * *  /usr/sbin/ntpdate cn.pool.ntp.org(2)在终端执行命令:/usr/sbin/ntpdate cn.pool.ntp.org



⑤关闭防火墙iptables,在root用户下执行命令:setup,选择“Firewall configuration”,把“*”去掉,即按下空格键。通过Tab键选择OK选项,然后回车,保存修改内容



⑥关闭linux系统自带安全机制,(1)临时关闭,命令:setenforce 0 (2)永久关闭,命令:vi /etc/selinux/config 内容修改为:SELINUX=disabled 



⑦关闭Packagekit,命令:vi /etc/yum/pluginconf.d/refresh-packagekit.conf 修改内容:enabled=0



⑧安装JDK,步骤:

(1)mkdir /usr/java 

(2)tar -zxvf /usr/java/jdk-7u71-linux-x64.gz(jdk文件自己下载)

(3)配置只影响当前用户的文件,命令:vi ~/.bash_profile 添加内容:export JAVA_HOME=/usr/java/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH

(4)source ~/.bash_profile

(5)检验,命令:java -version



⑨ UMASK,命令:(在终端完成)echo umask 0022 >> /etc/profile



⑩搭建本地库,步骤:

(1)基本依赖组件安装:a、yum install createrepo b、yum install openssl c、yum install nc d、yum install redhat-lsb e、yum install gcc f、yum install python-devel g、yum install python-libs

(2)安装Apache httpd,命令:yum install httpd

(3)启动httpd,命令:service httpd start

(4)解压文件,命令:

tar -zxvf ambari-1.7.0-centos6.tar.gz -C /var/www/html

tar -zxvf HDP-2.2.0.0-centos6-rpm.tar.gz  -C /var/www/html

 tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz  -C /var/www/html

(5)配置repo文件,命令a:vi /etc/yum.repos.d/ambari.repo  添加内容:

[ambari]
name=ambari
baseurl=http://IP地址/ambari/centos6/1.x/updates/1.7.0
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.7.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

命令b:vi /etc/yum.repos.d/hdp.repo  添加内容:

[HDP]
name=HDP
baseurl=http://IP地址/HDP/centos6/2.x/GA/2.2.0.0/
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

命令c:vi /etc/yum.repos.d/hdp-utils.repo  添加内容:

[HDP-UTILS]
name=HDPUtils
baseurl=http://IP地址/HDP-UTILS-1.1.0.20/repos/centos6/
gpgcheck=1
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/GA/2.2.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

(6)检验是否有效,在浏览器打开:http://IP地址/ambari



⑪ambari组件安装,步骤:(1)yum install ambari-server (2)ambari-server setup -j /usr/java/jdk1.7.0_71/   (3)ambari-server start



 ⑫打开C:\Windows\System32\drivers\etc\hosts 添加内容:IP地址  主机名

 

 ⑬登录Ambari  WebUI ,通过http://主机名:8080访问,用户名、密码默认为admin,admin



⑭在Target Hosts添加要部署的集群主机名,在添加ssh文件选择添加ambari节点的id_rsa文件



参考博客文章:http://hf200012.iteye.com/blog/1836311

(责任编辑:IT)
------分隔线----------------------------