欢迎光临IT网Linux学习频道

当前位置: > Linux集群 >
  • [Hadoop] hadoop错误代码查询 日期:2014-11-04 18:41:22 点击:142 好评:0

    经常遇到的exception是:PipeMapRed.waitOutputThreads(): subprocess failed with code N OS error code 1: Operation not permitted OS error code 2: No such file or directory OS error code 3: No such process OS error code 4: Interrupted system c...

  • [Hadoop] Warning: $HADOOP_HOME is deprecated. hadoop1.0.... 日期:2014-11-04 18:41:01 点击:133 好评:0

    添加 export HADOOP_HOME_WARN_SUPPRESS=TRUE到 hadoop-env.sh 中 注意要添加到集群中每一个节点中。 版本:hadoop 0.20.205 原因: Hadoop 在bin/hadoop-config.sh 中对HADOOP_HOME 进行了判断 判断发生的地方: # the root of the Hadoop installation exp...

  • [Hadoop] 从安装linux到安装hadoop 日期:2014-11-04 18:40:34 点击:134 好评:0

    1. windows install vmware 2. change the CD-ROM as ISO files 3. install ubuntu os 4. change root password using passwd root command sudo passwd root install ssh : sudo apt-get install ssh 5. enter the command of startX 6. sudo apt-get insta...

  • [Hadoop] hadoop关注点 日期:2014-11-04 18:40:12 点击:161 好评:0

    http://hadoop.apache.org/common/docs/r0.18.3/hdfs_design.html Browser Interface A typical HDFS install configures a web server to expose the HDFS namespace through a configurable TCP port. This allows a user to navigate the HDFS namespace...

  • [Hadoop] job监控与hadoop权限管理 日期:2014-11-04 18:39:43 点击:140 好评:0

    3监测Hadoop控制中心及作业运行状况 MapReduce框架由一个单独的Master JobTracker和集群节点上的Slave TaskTracker共同组成,在Hadoop的JobClient提交作业和配置信息给JobTracker之后,JobTracker会负责分发这些软件和配置信息给slave及调度任务,并监控它们...

  • [Hadoop] Hadoop功能性能 日期:2014-11-04 18:39:19 点击:161 好评:0

    1 支持的语言 Java/SHELL/Python/ruby 等各种支持标准输入输出的语言。 2 能够处理的文件大小 它支持比 NFS 大得多的文件大...

  • [Hadoop] 在Ubuntu中安装Hadoop 日期:2014-11-04 18:38:58 点击:198 好评:0

    在装 Hadoop 之前首先需要: 1.java1.6.x 最好是sun的,1.5.x也可以 2.ssh 安装ssh $ sudo apt-get install ssh $ sudo apt-get install rsync 下载 Hadoop 从http:// Hadoop .apache.org/core/releases.html 下载最近发布的版本 最好为 Hadoop 创建一个用户...

  • [Hadoop] Hadoop是什么 日期:2014-11-04 18:38:38 点击:61 好评:0

    本节和大家一起学习一下Hadoop,主要介绍一下Hadoop的概念以及它的特点,欢迎大家一起来学习Hadoop的知识。 1.Hadoop是什么 Hadoop原来是ApacheLucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,...

  • [Hadoop] ubuntu中配置hadoop 日期:2014-11-04 18:38:15 点击:71 好评:0

    单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/lib/jvm/java-6-openjdk 配置环境变量: sudo gedit /etc/environment 在其中添加如下两行: CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/lib JAVA_HOME=/usr/lib/jvm/java-6-...

  • [Hadoop] hadoop与myeclipse连接插件所放位置 日期:2014-11-04 18:36:35 点击:216 好评:0

    hadoop与myeclipse连接插件所放位置:D:\software\myeclipse\MyEclipse 10\dropins 参考: 1、找到Hadoop Eclipse Plugin 插件 jar包 具体插件的位置如下: ..\hadoop-0.21.0\mapred\contrib\eclipse-plugin\hadoop-0.21.0-eclipse-plugin.jar 找到该插件之...

  • [Hadoop] hadoop配置文件 日期:2014-11-04 18:36:14 点击:120 好评:0

    (1)配置$HADOOP_HOME/conf/hadoop-env.sh 切换到Hadoop的安装路径找到hadoop-0.20.2下的conf/hadoop-env.sh文件 将:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 改为:export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (2) 配置$HADOOP_HOME/conf/core-site.xm...

  • [Hadoop] Warning: $HADOOP_HOME is deprecated. hadoop1.0.... 日期:2014-11-04 18:35:41 点击:89 好评:0

    Warning: $HADOOP_HOME is deprecated. hadoop1.0.... hadoop 1.0.1版本执行hadoop命令的时候,经常出现 Warning: $HADOOP_HOME is deprecated. 经过查看hadoop-1.0.1的hadoop和hadoop-config.sh脚本,发现对于HADDP_HOME做了判断 解决方法如下: 1.在配置文...

  • [Hadoop] ubuntu hadoop 部署笔记 日期:2014-11-04 18:35:16 点击:189 好评:0

    单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/lib/jvm/java-6-openjdk 配置环境变量: nano /etc/environment 在其中添加如下两行: CLASSPATH=./:/usr/lib/jvm/java-6-openjdk/lib JAVA_HOME=/usr/lib/jvm/java-6-openjd...

  • [Hadoop] 运行hadoop中wordcount时没有反应 日期:2014-11-04 18:34:25 点击:69 好评:0

    解决方案: hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfsadmin -safemode leave hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfs -chmod -R 777 /tmp...

  • [Hadoop] Hadoop管理员的十个最佳实践 日期:2014-11-04 18:33:24 点击:127 好评:0

    前言 接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问题的...

  • [Hadoop] Hadoop FS Shell命令大全 日期:2014-11-04 18:32:56 点击:106 好评:0

    调用文件系统(FS)Shell命令应使用 bin/hadoop fs args 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文件系统,scheme是 hdfs ,对本地文件系统,scheme是 file 。其中scheme和authority参数都是可选的,...

  • [Hadoop] 运行wordcount时显示Could not obtain block 日期:2014-11-04 18:32:27 点击:72 好评:0

    该文章接上面hadoop运行wordcount时卡住不动,接着下面 hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop dfsadmin -safemode leave Warning: $HADOOP_HOME is deprecated. Safe mode is OFF hadoop@ubuntu118:~/hadoop-1.0.2$ bin/hadoop jar hadoop-examples-...

  • [Hadoop] hadoop各配置文件中各配置项详细说明 日期:2014-11-04 18:31:59 点击:120 好评:0

    3.1. 环境变量 hadoop-env.sh name value 含义 JAVA_HOME /usr/java/jdk1.6.0_30 JDK 所在路径 3.2. HDFS 配置 3.2.1. 配置 core-site.xml Name value 含义 fs.default.name hdfs://namenode 指定默认的文件系统,默认端口 8020 。 io.file.buffer.size 6553...

  • [Hadoop] hadoop 性能调优 日期:2014-11-04 18:25:22 点击:72 好评:0

    http://wenku.baidu.com/view/3a86c118964bcf84b9d57bce.html (不错的一个调优资料)...

  • [Hadoop] hadoop负载均衡与垃圾回收 日期:2014-11-04 18:24:53 点击:69 好评:0

    负载均衡 负载的均衡,是分布式系统中一个永恒的话题,要让大家各尽其力齐心干活,发挥各自独特的优势,不能忙得忙死闲得闲死,影响战斗力。而且,负载均衡也是一个复杂的问题,什么是均衡,是一个很模糊的概念。比如,在分布式文件系统中,总共三百个数据块...

  • [Hadoop] hadoop安全机制 日期:2014-11-04 18:24:18 点击:130 好评:0

    1.背景 1.1 共享Hadoop集群 当前大一点的公司都采用了共享Hadoop集群的模式,这种模式可以减小维护成本,且避免数据过度冗余,增加硬件成本。共享Hadoop是指:(1)管理员把研发人员分成若干个队列,每个队列分配一定量的资源,每个用户或者用户组 只能 使...

  • [Hadoop] hadoop集群调优分两个方面,map和reduce 日期:2014-11-04 18:23:48 点击:102 好评:0

    hadoop集群调优分两个方面,map和reduce map调优: map 任务执行会产生中间数据,但这些中间结果并没有直接IO到磁盘上,而是先存储在缓存(buffer)中,并在缓存中进行一些预排序来优化整个map的性能,该存储map中间数据的缓存默认大小为100M,由io.sort.mb 参数指...

  • [Hadoop] hadoop性能调优 日期:2014-11-04 18:22:43 点击:118 好评:0

    从三个方面着手优化 : 1. hadoop配置 2. 设计mapred/job 3. 代码级别. 4. 改造hadoop 一. conf/hadoop-site.xml配置. 经验要求高, 特别需要结合实际情况. 典型参数如 复制因子, mapred.child.java.opts, mapred.tasktracker.map.tasks.maximum, mapred.taskt...

  • [Hadoop] hadoop安装配置过程总结 日期:2014-11-04 18:20:14 点击:88 好评:0

    一、Jdk安装 系统已经默认有安装,但不完全,所以需要自己安装 配置环境变量: 在usr下新建java文件夹,将Java7压缩文件解压在该文件夹中,并配置系统文件: nano /etc/profile #export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export JAVA_H...

  • [Hadoop] hive操作总结 日期:2014-11-04 18:15:42 点击:202 好评:0

    1 将排序结果插入到新文件中 hive insert overwrite table re_table1 select * from table1 cluster by id; 2 在shell中使用hive $HIVE_HOME/bin/hive -S -e select * from table1 cluster by id /home/hadoop/hadoop/hadoop-1.2.1/test/re_s.txt 3 hive中操...

  • [Hadoop] hive操作总结 日期:2014-11-04 18:15:42 点击:215 好评:0

    1 将排序结果插入到新文件中 hive insert overwrite table re_table1 select * from table1 cluster by id; 2 在shell中使用hive $HIVE_HOME/bin/hive -S -e select * from table1 cluster by id /home/hadoop/hadoop/hadoop-1.2.1/test/re_s.txt 3 hive中操...

  • [Hadoop] hadoop2配置文件详细解释 日期:2014-11-04 18:15:00 点击:84 好评:0

    目录[-] 文章地址:http://www.superwu.cn/2014/02/12/1094/ 前言 hadoop2体系结构 配置过程详述 文件hadoop-env.sh 文件core-site.xml 集群c1的文件hdfs-site.xml 集群c2的文件hdfs-site.xml 文件mapred-site.xml 文件yarn-site.xml 文件slaves 启动过程 1....

  • [Hadoop] Hadoop环境配置过程中可能遇到问题的解决方案 日期:2014-11-04 18:14:21 点击:99 好评:0

    Hadoop环境配置过程中可能遇到问题的解决方案 Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致Hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar...

栏目列表
推荐内容