当前位置: > Linux集群 > Hadoop >

使用Apache Ambari管理Hadoop集群

时间:2019-07-27 14:09来源:linux.it.net.cn 作者:IT
1. 服务管理
(1)登录到实训系统,接着登录到安装好的ambari平台(用户名:密码admin:admin),ambari大数据平台首页。如图1所示:
 
 
(2)服务信息,在页面左侧的服务列表中,可以选中任何一个想要操作的服务。以 HDFS为例,单击左侧服务列表中的“HDFS”按钮后,就会在服务列表右侧看到该服务的相关信息,如图2所示:

 
(3)服务操作,在页面右侧,单击“服务操作”下拉框,可以对服务进行重启、停止等操作,如图3所示:

 
(4)运行服务检查,单击“服务操作”下拉框的“运行服务检查”选项,可以检查集群是否可用,如图4所示(若有弹框,请按确认):

 
运行服务检查完毕,然后按“确认”键,如图5所示:


 
2. 主机管理
 
(1)主机管理,单击页面导航栏中“主机”标签,打开Ambari所管理的主机列表,如图6所示:

 
 
(2)单击导航栏左上方的“动作”下拉框,在弹出的下拉菜单中列出与主机相关操作的按钮,这个效果和“服务操作”是类似的,只是执行的范围不一样,如图7所示:


 
 
(3)当用户在“动作”下拉菜单中选择“显示主机→主机→启动所有组件”命令时,Ambari就会将所显示主机中的所有服务进行启动。

 
 
当用户在“动作”下拉菜单中选择“所有主机→DataNodes→停止”命令时,Ambari就会把所有机器关于DataNode的进程关闭。
 
一旦集群不能够满足生产环境所需的资源时,可以通过“动作”下拉菜单中“+添加新的主机”命令来扩展集群。
 
单击“master.hadoop”,进入到主机中,如图8所示:


 
进入主机后可以看到该主机中所有进程的运行状态、主机资源使用情况、主机的IP地址、资源栈等信息。在导航栏右上方有一个“主机动作”按钮,通过单击该按钮可以进行一系列的操作,如图9所示:
 


 
在“主机动作”下拉菜单中有一个“打开维护模式”选项,对于主机级别的维护模式来说,就是打开了该主机所有进程的维护模式。如果该主机已经有告警信息,一旦维护模式打开后,告警信息会被屏蔽,并且抑制新告警信息的产生。所有的批量操作都会越过该机器。
 
(4)进程管理。每个服务都由相应的进程组成,如HDFS服务,它包含了NameNode、SNameNode、DateNode等进程。每台主机中都安装了相应的服务进程,如master节点中包含HDFS的NameNode进程,slave1节点包含了SNameNode、DateNode进程。
 
在master.hadoop节点中,找到需要进行管理的进程,如NameNode,该进程后面有个“Started”按钮,表示该进程正在运行中,单击该按钮可以改变进程的运行状态,如“重启”、“停止”、“打开维护模式”、“均衡HDFS”等,如图10所示:
 



 
3. 添加服务
(1)回到ambari平台主界面,单击导航栏上方的“主页面”按钮,如图11所示:
 


 
(2)单击页面左侧的“动作”下拉框,选择“增加服务”选项,如图12所示:
 


 
(3)在增加服务向导页面,会出现很多可添加的服务,勾选你所需要的服务,假如想安装HBase服务,然后单击右下角“下一步按钮”如图13所示:
 


 
(4)此页面不需要做操作,直接单击“下一步”按钮即可。如图14所示:

 
(5)在分配Slaves和Clients界面,无需操作,单击“下一步”按钮即可,如图15所示:

 
 
(6)在自定义服务界面,无需做操作,单击“下一步”按钮即可,如图16所示:(若有弹框,请按继续)

 
(7)在概括界面,无需做操作,单击“部署”按钮,如图17所示:

 
(8)在安装开始并进行测试界面,无需做操作,等待安装完毕,然后单击“下一步”按钮即可,如图18所示:
 
 
(9)在摘要界面,无需做操作,单击“完成”按钮即可,如图19所示:


 
(10)回到主界面,可以看到安装HBase服务,如图20所示:
 


 
4. 配置管理
Ambari管理工具可以很方便地修改配置文件并应用到集群的每一台主机中,尤其是当集群中主机的数量非常多的情况下。
 
例如,需要修改集群HDFS文件系统,Block的复制因子(Block replication)为2,手动部署集群的情况下,则要修改每一台主机的hdfs-site.xml配置文件。如果一个集群有几十台或者几百台主机的话,这个工作量是非常大的。而Ambari集群管理工具则可以很好地应对这种情况,由集群中的Ambari Server向每台主机中的Ambari Agent发送相关的心跳信息,由此更新每台主机中的配置文件。具体操作步骤如下:
 
(1)单击左侧“HDFS”按钮,然后单击“配置”按钮,如图21所示:



 
(2)在配置界面中,选择“Advanced”选项,如图22所示:


 
(3)在“Advanced”下,找到“General”中的“Block replication”一栏,这个就是修改复制因子的地方,如图23所示:
 

 
(4)修改复制因子为2,然后单击上方“保存”按钮,如图24所示:

 
 
(5)在弹出的对话框中输入标签,例如这边设置的标签为“change”,然后单击“保存”按钮,如图25所示:(若有弹窗,请按继续)



 
 
(6)在此页面,无需做任何修改,单击“确认”按钮即可,如图26所示:
 
 



 
 

 

(责任编辑:IT)
------分隔线----------------------------