• LVS简介及实战

    日期：

    以前做过一些负载均衡高可用的实验，由于在工作环境一直都没有用到这些技术，现在几乎都忘光了，记录在evernote里的实验笔记也不完整。趁着最近事情较少，重新找了些资料，把一些相关的实验再做一遍，并记录完整，以备不时之需。 一、 LVS简介 LVS是Linux Vi...

  • HAProxy简介及实例

    日期：

    HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的...

  • MapReduce提交作业常见问题

    日期：

    1.从HDFS上传下载文件到 第一种错误： spanstyle= font-size:medium; Exceptioninthread main java.lang.IllegalArgumentException: WrongFS:hdfs: //192.168.1.11:9000/usr/yujing/wordcount, expected:hdfs: //master:9000/span 这个很多人都遇到过，不管...

  • Hadoop常见异常分析及解决方法

    日期：

    1. org.apache.hadoop.security.AccessControlException: Permission denied: user=FDC2, access=EXECUTE, inode=job_201010161322_0003:heipark:supergroup:rwx------ 解决方法:在hdfs-site.xml中添加如下： property namedfs.permissions/name valuefalse/v...

  • Hadoop作业提交多种方案具体流程详解

    日期：

    前言： 提交Hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方...

  • hadoop基本命令

    日期：

    1.start-all.sh开启线程 hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名9000代表端口号/就代表根目录 /user就是user文件夹) hadoop fs -ls /user（hdfs://cloud4:9000可省略） 2. -ls/-lsr查看目录下的文件信息 hadoop fs -ls / 查看根目录下文件...

  • 本地的文件上传到hadoop注意编码

    日期：

    使用hadoop的时候要注意，本地的文件上传到hadoop之前， 看一下本地文件的编码（要使用GBK）编码， 否则在做reduce处理时，文本的第一行处理可能会有问题...

  • JobConf详解Job

    日期：

    ...

  • hadoop配置多个输入路径，某个路径配置为空时

    日期：

    hadoop配置多个输入路径，某个路径配置为空时，运算时会把路径默认为用户目录下 即： user/用户名/null...

  • ERROR security.UserGroupInformation: Priviledge...

    日期：

    Failed to set permissions of path问题 参考文献：https://issues.apache.org/jira/browse/HADOOP-8089 错误信息如下： ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.io.IOException Failed to set permissions...

最近关注
热点内容