Hadoop常见重要命令行操作及命令作用

关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar jar run a jar file checknative [-a|-h] check native hadoop and...

Hadoop Yarn

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html http://zh.hortonworks.com/hadoop/yarn/ http://www.csdn.net/article/2013-12-18/2817842-bd-hadoopya...

CentOS6.6安装heartbeat实现高可用

最近在老师的带领下学习linux下的高可用技术，使用的是heartbeat这款软件来实现服务器集群的高可用。下面我将记录在学习和试验过称中遇到的问题和一些个人看法，供广大博友们参考借鉴，本人水平可能不够，大神请轻喷。 首先遇到的第一个问题就是我是在VMWARE...

BalanceNG 3.601 发布，负载均衡软件

BalanceNG 3.601 发布，此版本更新了许可撤销列表，现已提供下载： BalanceNG-3.601-1.x86_64.rpm(1.1M) BalanceNG-3.601-OSX.pkg(2.0M) balanceng_3.601_i386.deb(1.7M) balanceng_3.601_amd64.deb(1.8M) BalanceNG-3.601-Linux-x86.tar.gz(2.0M) BalanceNG...

集群 LVS Raid

以前整的一些思维导图，方便记忆。...

LVS简介及实战

以前做过一些负载均衡高可用的实验，由于在工作环境一直都没有用到这些技术，现在几乎都忘光了，记录在evernote里的实验笔记也不完整。趁着最近事情较少，重新找了些资料，把一些相关的实验再做一遍，并记录完整，以备不时之需。 一、 LVS简介 LVS是Linux Vi...

HAProxy简介及实例

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的...

MapReduce提交作业常见问题

1.从HDFS上传下载文件到 第一种错误： spanstyle= font-size:medium; Exceptioninthread main java.lang.IllegalArgumentException: WrongFS:hdfs: //192.168.1.11:9000/usr/yujing/wordcount, expected:hdfs: //master:9000/span 这个很多人都遇到过，不管...

Hadoop常见异常分析及解决方法

1. org.apache.hadoop.security.AccessControlException: Permission denied: user=FDC2, access=EXECUTE, inode=job_201010161322_0003:heipark:supergroup:rwx------ 解决方法:在hdfs-site.xml中添加如下： property namedfs.permissions/name valuefalse/v...

Hadoop作业提交多种方案具体流程详解

前言： 提交Hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方...