编程过程中发现错误，无法看到具体的错误信息，网上搜了下，按照下面的方法启动Hive Shell就可以打开调试（注意：此方法只对本次回话有效）： hive --hiveconf hive.root.logger=DEBUG,console 如果需要对所有会话有效，则可以修改Hive的配置文件。不过不建...

英文看着头大，先试着翻译一下。 E文原文： http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html 翻译真是太难了，而且我翻译的好烂，好烂，有时候自己也只能理解个大概。 ====================================begin===...

Keepalived介绍 keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中...

用MyEclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: 停止hadoop测试环境： [hadoop@icity0bin]$./stop-all.sh Warning:$HADOOP_HOMEisdeprecated. stoppingjobtracker icity1:stoppingtasktracker icity2:sto...

hadoop java api操作实战： 公共方法： staticfinalStringPATH=hdfs://icity0:9000/; privatestaticFileSystemgetFileSystem()throwsIOException,URISyntaxException{ FileSystemfileSystem=FileSystem.get(newURI(PATH),newConfiguration()); returnfileSys...

hadoop shell 操作指南 FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和aut...

hadoop1.1.2分布式安装 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式...

Nginx+Tomcat+Memcached负载均衡集群服务搭建 操作系统：CentOS6.5 本文档主要讲解，如何在CentOS6.5下搭建Nginx+Tomcat+Memcached负载均衡集群服务器，Nginx负责负载均衡，Tomcat负责实际服务，Memcached负责同步Tomcat的Session，达到Session共享的目的。...

memcache客户端一致性hash算法设置 Memcache 修改php.ini添加： [Memcache] Memcache.allow_failover = 1 Memcache.hash_strategy =consistent Memcache.hash_function =crc32 ini_set方法： Ini_set(memcache.hash_strategy, consistent ); Ini_set(memcach...

集群架构方面的问题 o memcached是怎么工作的？ o memcached最大的优势是什么？ o memcached和MySQL的query cache相比，有什么优缺点？ o memcached和服务器的local cache（比如PHP的APC、mmap文件等）相比，有什么优缺点？ o memcached的cache机制是怎样的...

memcached是针对数据库的缓存软件 能有效降低数据库的负载 下面是何如将多个memcached做成集群负载均衡,让memcached变的更高可用 一、安装步骤： 1、编译安装libevent： 1234 tar zxvf libevent-1.4.9-stable.tar.gzcd libevent-1.4.9-stable/./configure --...

Hadoop家族系列文章 ，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开...

Ceph简介 eph的设计目标是是在廉价的存储介质上构建具有 high performance， high scalibility, high available， 提供统一存储，分文件存储，块存储，对象存储。最近看了相关文档觉得挺有意思，而且它已经能为openstack提供块存储，非常贴合主流趋势。 Ceph...

概述 Docs : http://docs.ceph.com/docs Ceph是一个分布式文件系统，在维持POSIX兼容性的同时加入了复制和容错功能。Ceph最大的特点是分布式的元数据服务器，通过CRUSH（Controlled Replication Under Scalable Hashing）这种拟算法来分配文件的location。Ce...

Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph的诞生地）的吉祥物有关，这个吉祥物是Sammy，一个香蕉色的蛞蝓，就...

前面一段时间公司要求找一个分布式软件，于是就看了下开源的ceph，在官网上http://ceph.com/download/下载了ceph-0.52.tar.gz源码包。 这儿记录了下自己安装的过程： 操作系统使用的是： CentOS-6.3-x86_64； 一、先安装一些编译常用工具，也是本次编译所需要...

Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时，你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一，它基于称为 RADOS 的对象存储系统，用一组网关 API 表示块、文件、和对象模式中的数据。由于它自身...

创建用户： # sudo useradd -d /home/ ceph -s /bin/bash [-m] ceph # passwd ceph /// 密码设为： ceph # vim/etc/sudoers 添加： ceph ALL=( ALL) ALL Linux实现SSH无密码登录 参见http://blog.csdn.net/whucs_b701/article/details/7422470 1. 环境配置：...

设置虚拟集群可能是一个复杂、耗时的过程，因此起步的最佳方式是从细微处着手。 首先需要有两个Red Hat Enterprise linux或CentOS 7节点，并配置正确的转发及反向域名系统，由于Red Hat 6及7之间有些变化，显著降低了集群管理的复杂度。 集群设置主要依靠两...

使用配置Hadoop中常用的linux(Ubuntu)命令 生成key： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f filename 指定密钥文件名。...

在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名，其实我们可以通过 Context 来获取相关参数，代码类似如下： 1 2 3 4 5 FileSplit fileSplit = (FileSplit) context.getInputSplit(); System.out.println(======== getPath.getNa...

[一]、实验环境 1.1、环境 hadoop 2.6.0 namenode 2个 各增加 2个1T硬盘 datanode 3个 各增加3个1T硬盘 1.2、挂载硬盘 fdisk 分区 (输入mnp1回车回车pw) mkfs 格式化硬盘 ( mkfs.ext4 ) mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 . /bigd...

[一]、 概述 Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的，而linux下 /tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：no datanode to stop 的错误提示，一般生产环境中我们需要重新修改PID的保存路径。 [二]、...

[一]、前提 首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考：Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相对简单多了。 [二]、实验环境 角色 OS(系统) JDK Master CentOS6.3 1.7.0_75 RegionServer CentOS5...

本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。 [一]、 实验环境 CentOS 6.3 64位 Hadoop 2.6.0 JDK1.7.0_75 [二]、 snappy编译安装 2.1、下载源码 到官网http://code.google.com/p/snappy/或者到https://github.com/google/snappy下载源...

Hadoop2 NN HA+Zookeeper独立安装的步骤参见：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/，本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配 hostname IP Hadoop角色 HBase角色 nn1.hadoop zk1.hadoop 172.17.22...

目录结构 引言 实验环境 实验过程 演示demo [一]、 引言 在Hadoop2.x初期的时候写过一篇hadoop 2.2.0 集群模式安装配置和测试，记录了分布式搭建的最基本的搭建步骤和运行演示，那篇文章中没有对HA的配置做实验，本文会详细介绍 Hadoop2的分布式、NameNode配...

1. hdfs基本统计情况 fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。 hadoop dfsadmin -report 2. hadoop安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在...