1、数据去重 数据去重主要是为了掌握和利用并行化思想来对数据进行有意义的筛...

1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性...

1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本：jdk-6u31-windows-i586.exe Win系统：Windows 7 旗舰版 Eclipse软件：eclipse-jee-indi...

1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是任务的分解与结果的汇总。 在Had...

1、Linux配置java环境变量 1.1 原文出处 地址： http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当...

1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户...

1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。...

1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通...

1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为 核心 的Hadoop为用户提供了系统底层细节透明的分布式...

1、准备安装 1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的 CentOS 会定期（...

1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/ source mkdir -p /home/hadoop/tools 定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放 mkdi...

Hadoop-2.5.1集群安装配置笔记 1.环境 1.1.虚拟机 准备3台虚拟机，安装Centos 64-bit操作系统，采用最小安装。 （本来想多跑几台虚拟机，但本人笔记本电脑内存有限，最多只能同时跑3个虚拟机） 虚拟机一律配置静态IP地址，配置域名解析，各虚拟机时间同步。...

hadoop 2.5 伪分布安装，hadoop2.5分布安装 最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点 首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync 配置ssh $ ssh localhost If you cannot ssh to localhost without a p...

集群安装完毕，该如何测试和使用集群： 运行hadoop首先进入hadoop所在目录，第一次执行要格式化文件系统bin/hadoop namenode format 启动bin/start-all.sh 用jps命令查看进程，显示： root@ubuntu:/usr/hadoop/hadoop-1# jps 6449 DataNode 6998 TaskTracker...

下载hadoop hadoop下载地址： http://www.apache.org/dyn/closer.cgi/hadoop/core/ 这里下载的版本是1.0.3 $ mkdir hadoop $ wgethttp://www.fayea.com/apache-mirr ... hadoop-1.0.3.tar.gz. 安装java 首先用java -version查看是否已安装，如果显示类似于ja...

问题导读： 1.如何配置各个节点之间无密码互通？ 2.启动hadoop，看不到进程的原因是什么？ 3.配置hadoop的步骤是什么？ 4.有哪些配置文件需要修改？ 5.如果没有配置文件，该如何找到该配置文件？ 6.环境变量配置了，但是不生效的原因是什么？ 7.如何查看hado...

GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。 该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统...

文章作者Andrew C. Oliver是一位专业的软件顾问，同时还是北卡罗来纳州达勒姆大数据咨询公司Open Software Integrators的总裁和创始人。长时间的使用Hadoop，他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造，但它发展过快而表现出一...

环境介绍： 在两台装有centos6.4（32位）的服务器上安装Hadoop-2.5.1分布式集群（2台机器，主要试验用，哈哈）。 1．修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi /etc/sysconfig/networkHOSTNAME=XXX 重启后生效。 2）/etc/hosts是ip地址和其对...

环境：系统CentOS6.364位*2Master10.10.55.112Slave110.10.55.133软件：Hadoop-2.5.1-src.tar.gz 一、准备环境 1.1分别设置节点ip地址（固定）此步骤所有节点都要操作 vi/etc/sysconfig/network-scripts/ifcfgeth0 1.2修改节点主机名此步骤所有节点都要操作...

一、编译环境 [plain]view plaincopy Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0 hadoop2.5.1源代码文件 二、安装以上所需的所有软件 1.yum可安装的软件 [html]view plaincopy yuminstallsvnncurses-develgcc*lzo-develzlib-de...

今天来说说编译hadoop源码的事情吧~ 1、首先下载源码 地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ 2、加压tar包到指定文件夹 ：/home/hadoop/soft/hadoop view sourceprint? 1. tar zxvf hadoop- 2.4 . 0 -src.tar.gz 3、Linux编译...

我们来看下，如何在Centos6.5下，部署完全分布式集群。 下面先来看下具体的系统环境 序号 名称 描述 1 系统环境Centos6.5 最好在linux上部署 2 Hadoop版本Hadoop2.2.0 Hadoop2.x中的第一个稳定版本 3 JAVA环境JDK1.7 64位(build 1.7.0_25-b15) 部署情况 序号...

介绍：Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例： 复制代码 代码如下: # Configuration of...

之前安装hadoop集群时，使用了root账号，后来发现有一些安全隐患，于是就把线上的集群统一配置到了hadoop账号下。 以下是具体操作步骤： １：创建hadoop账号 复制代码 代码如下: useradd hadoop ２：ssh无密码登陆 复制代码 代码如下: su hadoop ssh-keygen...

运行hadoop程序时，有时会报如下的错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该很常见的吧。 错误分析，从字面上来理解： Name node is in safe mode 说明Hadoop的NameNode...

1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 4、chm...

学习hadoop过程中用到的一些命令，这里作个记录，以备后阅。 1、ubuntu12 下如何打开终端：CTRL+ALT+t 2、ubuntu12 下查看JAVA_HOME环境变量:echo $JAVA_HOME 3、解压压缩文件：tar -xzvf hadoop-1.0.1.tar.gz 4、文件编辑命令：sudo gedit hadoop_env.sh 5...