hadoop管理
时间:2016-06-10 00:01 来源:linux.it.net.cn 作者:IT
1. hdfs基本统计情况
fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。
hadoop dfsadmin -report
2. hadoop安全模式
NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块最小百分比数满足的最小副本数条件时，会自动退出安全模式。
[-safemode enter | leave | get | wait]
hadoop dfsadmin -safemode enter 打开安全模式
hadoop dfsadmin -safemode leave 关闭安全模式
3. 添加节点
在节点上安装好hadoop后，使用和namenode相同的配置，修改master加入namenode主机名，然后在namenode节点slaves加入新节点，建立无密码ssh链接。
start-all.sh
4. 负载均衡
HDFS的数据在各个DataNode中的分布肯能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：
start-balancer.sh
(责任编辑：IT)
| 1. hdfs基本统计情况 fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。 hadoop dfsadmin -report 2. hadoop安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块最小百分比数满足的最小副本数条件时，会自动退出安全模式。 [-safemode enter | leave | get | wait] hadoop dfsadmin -safemode enter 打开安全模式 hadoop dfsadmin -safemode leave 关闭安全模式 3. 添加节点 在节点上安装好hadoop后，使用和namenode相同的配置，修改master加入namenode主机名，然后在namenode节点slaves加入新节点，建立无密码ssh链接。 start-all.sh 4. 负载均衡 HDFS的数据在各个DataNode中的分布肯能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布的不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布： start-balancer.sh (责任编辑：IT) |