当前位置: > Linux集群 > Hadoop >

job监控与hadoop权限管理

时间:2014-11-04 18:39来源:linux.it.net.cn 作者:it

3 监测Hadoop控制中心及作业运行状况

MapReduce框架由一个单独的Master JobTracker和集群节点上的Slave TaskTracker共同组成, 在Hadoop的JobClient提交作业和配置信息给JobTracker之后,JobTracker会负责分发这些软件和配置信息给slave及调度任务,并监控它们的执行,同时提供状态和诊断信息给JobClient。为了检测Hadoop控制中心及作业运行状况,需要先从JobClient端连接到Jetty服务器,然后通过JonConf来获得Job相关静态信息,然后通过JonConf、JobID、JobClient、JobStatus、RunningJob之间的接口获得正在运行中的Job信息。同时,可以通过ClusterMetrics和QueueInfo获得相应集群信息和队列信息。为了进一步获得Task信息,需要通过JobClient、TaskReport、TaskStatus、ClusterStatus之间接口获得Task相应信息。

 

4 Hadoop统一权限管理

Hadoop统一权限管理分为用户分组管理和作业管理。其中用户分组管理用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源;同时可以限制每个用户提交的作业数,使用的资源量等。作业管理包括作业提交权限控制,作业运行状态查看权限控制等。如:可限定可提交作业的用户;可限定可查看作业运行状态的用户;可限定普通用户只能修改自己作业的优先级,kill自己的作业;高级用户可以控制所有作业等。

(责任编辑:IT)
------分隔线----------------------------