使用Apache Ambari管理Hadoop集群
时间:2019-07-27 14:09 来源:linux.it.net.cn 作者:IT
1. 服务管理
（1）登录到实训系统，接着登录到安装好的ambari平台（用户名：密码admin：admin），ambari大数据平台首页。如图1所示：
（2）服务信息，在页面左侧的服务列表中，可以选中任何一个想要操作的服务。以 HDFS为例，单击左侧服务列表中的“HDFS”按钮后，就会在服务列表右侧看到该服务的相关信息，如图2所示：
（3）服务操作，在页面右侧，单击“服务操作”下拉框，可以对服务进行重启、停止等操作，如图3所示：
（4）运行服务检查，单击“服务操作”下拉框的“运行服务检查”选项，可以检查集群是否可用，如图4所示（若有弹框，请按确认）：
运行服务检查完毕，然后按“确认”键，如图5所示：
2. 主机管理
（1）主机管理，单击页面导航栏中“主机”标签，打开Ambari所管理的主机列表，如图6所示：
（2）单击导航栏左上方的“动作”下拉框，在弹出的下拉菜单中列出与主机相关操作的按钮，这个效果和“服务操作”是类似的，只是执行的范围不一样，如图7所示：
（3）当用户在“动作”下拉菜单中选择“显示主机→主机→启动所有组件”命令时，Ambari就会将所显示主机中的所有服务进行启动。
当用户在“动作”下拉菜单中选择“所有主机→DataNodes→停止”命令时，Ambari就会把所有机器关于DataNode的进程关闭。
一旦集群不能够满足生产环境所需的资源时，可以通过“动作”下拉菜单中“+添加新的主机”命令来扩展集群。
单击“master.hadoop”，进入到主机中，如图8所示：
进入主机后可以看到该主机中所有进程的运行状态、主机资源使用情况、主机的IP地址、资源栈等信息。在导航栏右上方有一个“主机动作”按钮，通过单击该按钮可以进行一系列的操作，如图9所示：
在“主机动作”下拉菜单中有一个“打开维护模式”选项，对于主机级别的维护模式来说，就是打开了该主机所有进程的维护模式。如果该主机已经有告警信息，一旦维护模式打开后，告警信息会被屏蔽，并且抑制新告警信息的产生。所有的批量操作都会越过该机器。
（4）进程管理。每个服务都由相应的进程组成，如HDFS服务，它包含了NameNode、SNameNode、DateNode等进程。每台主机中都安装了相应的服务进程，如master节点中包含HDFS的NameNode进程，slave1节点包含了SNameNode、DateNode进程。
在master.hadoop节点中，找到需要进行管理的进程，如NameNode，该进程后面有个“Started”按钮，表示该进程正在运行中，单击该按钮可以改变进程的运行状态，如“重启”、“停止”、“打开维护模式”、“均衡HDFS”等，如图10所示：
3. 添加服务
（1）回到ambari平台主界面，单击导航栏上方的“主页面”按钮，如图11所示：
（2）单击页面左侧的“动作”下拉框，选择“增加服务”选项，如图12所示：
（3）在增加服务向导页面，会出现很多可添加的服务，勾选你所需要的服务，假如想安装HBase服务，然后单击右下角“下一步按钮”如图13所示：
（4）此页面不需要做操作，直接单击“下一步”按钮即可。如图14所示：
（5）在分配Slaves和Clients界面，无需操作，单击“下一步”按钮即可，如图15所示：
（6）在自定义服务界面，无需做操作，单击“下一步”按钮即可，如图16所示：（若有弹框，请按继续）
（7）在概括界面，无需做操作，单击“部署”按钮，如图17所示：
（8）在安装开始并进行测试界面，无需做操作，等待安装完毕，然后单击“下一步”按钮即可，如图18所示：
（9）在摘要界面，无需做操作，单击“完成”按钮即可，如图19所示：
（10）回到主界面，可以看到安装HBase服务，如图20所示：
4. 配置管理
Ambari管理工具可以很方便地修改配置文件并应用到集群的每一台主机中，尤其是当集群中主机的数量非常多的情况下。
例如，需要修改集群HDFS文件系统，Block的复制因子（Block replication）为2，手动部署集群的情况下，则要修改每一台主机的hdfs-site.xml配置文件。如果一个集群有几十台或者几百台主机的话，这个工作量是非常大的。而Ambari集群管理工具则可以很好地应对这种情况，由集群中的Ambari Server向每台主机中的Ambari Agent发送相关的心跳信息，由此更新每台主机中的配置文件。具体操作步骤如下：
（1）单击左侧“HDFS”按钮，然后单击“配置”按钮，如图21所示：
（2）在配置界面中，选择“Advanced”选项，如图22所示：
（3）在“Advanced”下，找到“General”中的“Block replication”一栏，这个就是修改复制因子的地方，如图23所示：
（4）修改复制因子为2，然后单击上方“保存”按钮，如图24所示：
（5）在弹出的对话框中输入标签，例如这边设置的标签为“change”，然后单击“保存”按钮，如图25所示：（若有弹窗，请按继续）
（6）在此页面，无需做任何修改，单击“确认”按钮即可，如图26所示：
(责任编辑：IT)
1. 服务管理
（1）登录到实训系统，接着登录到安装好的ambari平台（用户名：密码admin：admin），ambari大数据平台首页。如图1所示：
（2）服务信息，在页面左侧的服务列表中，可以选中任何一个想要操作的服务。以 HDFS为例，单击左侧服务列表中的“HDFS”按钮后，就会在服务列表右侧看到该服务的相关信息，如图2所示：
（3）服务操作，在页面右侧，单击“服务操作”下拉框，可以对服务进行重启、停止等操作，如图3所示：
（4）运行服务检查，单击“服务操作”下拉框的“运行服务检查”选项，可以检查集群是否可用，如图4所示（若有弹框，请按确认）：
运行服务检查完毕，然后按“确认”键，如图5所示：
2. 主机管理
（1）主机管理，单击页面导航栏中“主机”标签，打开Ambari所管理的主机列表，如图6所示：
（2）单击导航栏左上方的“动作”下拉框，在弹出的下拉菜单中列出与主机相关操作的按钮，这个效果和“服务操作”是类似的，只是执行的范围不一样，如图7所示：
（3）当用户在“动作”下拉菜单中选择“显示主机→主机→启动所有组件”命令时，Ambari就会将所显示主机中的所有服务进行启动。
当用户在“动作”下拉菜单中选择“所有主机→DataNodes→停止”命令时，Ambari就会把所有机器关于DataNode的进程关闭。
一旦集群不能够满足生产环境所需的资源时，可以通过“动作”下拉菜单中“+添加新的主机”命令来扩展集群。
单击“master.hadoop”，进入到主机中，如图8所示：
进入主机后可以看到该主机中所有进程的运行状态、主机资源使用情况、主机的IP地址、资源栈等信息。在导航栏右上方有一个“主机动作”按钮，通过单击该按钮可以进行一系列的操作，如图9所示：
在“主机动作”下拉菜单中有一个“打开维护模式”选项，对于主机级别的维护模式来说，就是打开了该主机所有进程的维护模式。如果该主机已经有告警信息，一旦维护模式打开后，告警信息会被屏蔽，并且抑制新告警信息的产生。所有的批量操作都会越过该机器。
（4）进程管理。每个服务都由相应的进程组成，如HDFS服务，它包含了NameNode、SNameNode、DateNode等进程。每台主机中都安装了相应的服务进程，如master节点中包含HDFS的NameNode进程，slave1节点包含了SNameNode、DateNode进程。
在master.hadoop节点中，找到需要进行管理的进程，如NameNode，该进程后面有个“Started”按钮，表示该进程正在运行中，单击该按钮可以改变进程的运行状态，如“重启”、“停止”、“打开维护模式”、“均衡HDFS”等，如图10所示：
3. 添加服务
（1）回到ambari平台主界面，单击导航栏上方的“主页面”按钮，如图11所示：
（2）单击页面左侧的“动作”下拉框，选择“增加服务”选项，如图12所示：
（3）在增加服务向导页面，会出现很多可添加的服务，勾选你所需要的服务，假如想安装HBase服务，然后单击右下角“下一步按钮”如图13所示：
（4）此页面不需要做操作，直接单击“下一步”按钮即可。如图14所示：
（5）在分配Slaves和Clients界面，无需操作，单击“下一步”按钮即可，如图15所示：
（6）在自定义服务界面，无需做操作，单击“下一步”按钮即可，如图16所示：（若有弹框，请按继续）
（7）在概括界面，无需做操作，单击“部署”按钮，如图17所示：
（8）在安装开始并进行测试界面，无需做操作，等待安装完毕，然后单击“下一步”按钮即可，如图18所示：
（9）在摘要界面，无需做操作，单击“完成”按钮即可，如图19所示：
（10）回到主界面，可以看到安装HBase服务，如图20所示：
4. 配置管理
Ambari管理工具可以很方便地修改配置文件并应用到集群的每一台主机中，尤其是当集群中主机的数量非常多的情况下。
例如，需要修改集群HDFS文件系统，Block的复制因子（Block replication）为2，手动部署集群的情况下，则要修改每一台主机的hdfs-site.xml配置文件。如果一个集群有几十台或者几百台主机的话，这个工作量是非常大的。而Ambari集群管理工具则可以很好地应对这种情况，由集群中的Ambari Server向每台主机中的Ambari Agent发送相关的心跳信息，由此更新每台主机中的配置文件。具体操作步骤如下：
（1）单击左侧“HDFS”按钮，然后单击“配置”按钮，如图21所示：
（2）在配置界面中，选择“Advanced”选项，如图22所示：
（3）在“Advanced”下，找到“General”中的“Block replication”一栏，这个就是修改复制因子的地方，如图23所示：
（4）修改复制因子为2，然后单击上方“保存”按钮，如图24所示：
（5）在弹出的对话框中输入标签，例如这边设置的标签为“change”，然后单击“保存”按钮，如图25所示：（若有弹窗，请按继续）
（6）在此页面，无需做任何修改，单击“确认”按钮即可，如图26所示：
(责任编辑：IT) |