• 如何在 CentOS 7.0 上配置 Ceph 存储

    日期:

    Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时,你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一,它基于称为 RADOS 的对象存储系统,用一组网关 API 表示块、文件、和对象模式中的数据。由于它自身...

  • Ceph文件系统安装步骤

    日期:

    创建用户: # sudo useradd -d /home/ ceph -s /bin/bash [-m] ceph # passwd ceph /// 密码设为: ceph # vim/etc/sudoers 添加: ceph ALL=( ALL) ALL Linux实现SSH无密码登录 参见http://blog.csdn.net/whucs_b701/article/details/7422470 1. 环境配置:...

  • 如何分分钟创建Linux虚拟集群?

    日期:

    设置虚拟集群可能是一个复杂、耗时的过程,因此起步的最佳方式是从细微处着手。 首先需要有两个Red Hat Enterprise linux或CentOS 7节点,并配置正确的转发及反向域名系统,由于Red Hat 6及7之间有些变化,显著降低了集群管理的复杂度。 集群设置主要依靠两...

  • 使用配置Hadoop中常用的Linux(Ubuntu)命令

    日期:

    使用配置Hadoop中常用的linux(Ubuntu)命令 生成key: $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f filename 指定密钥文件名。...

  • Hadoop在Map阶段获取当前split的文件名

    日期:

    在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名,其实我们可以通过 Context 来获取相关参数,代码类似如下: 1 2 3 4 5 FileSplit fileSplit = (FileSplit) context.getInputSplit(); System.out.println(======== getPath.getNa...

  • hadoop多硬盘配置注意点

    日期:

    [一]、实验环境 1.1、环境 hadoop 2.6.0 namenode 2个 各增加 2个1T硬盘 datanode 3个 各增加3个1T硬盘 1.2、挂载硬盘 fdisk 分区 (输入mnp1回车回车pw) mkfs 格式化硬盘 ( mkfs.ext4 ) mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 . /bigd...

  • Hadoop修改配置PID文件路径

    日期:

    [一]、 概述 Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的,而linux下 /tmp 目录会定时清理,所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似:no datanode to stop 的错误提示,一般生产环境中我们需要重新修改PID的保存路径。 [二]、...

  • HBase安装配置snappy压缩算法

    日期:

    [一]、前提 首先是snappy编译安装和hadoop-snappy编译,这个可以直接参考:Hadoop安装配置snappy压缩,所有前提准备好后,HBase上安装配置snappy压缩算法就相对简单多了。 [二]、实验环境 角色 OS(系统) JDK Master CentOS6.3 1.7.0_75 RegionServer CentOS5...

  • Hadoop安装配置snappy压缩

    日期:

    本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。 [一]、 实验环境 CentOS 6.3 64位 Hadoop 2.6.0 JDK1.7.0_75 [二]、 snappy编译安装 2.1、下载源码 到官网http://code.google.com/p/snappy/或者到https://github.com/google/snappy下载源...

  • HBase+Hadoop2 NN HA+Zookeeper独立安装的整合

    日期:

    Hadoop2 NN HA+Zookeeper独立安装的步骤参见:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/,本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配 hostname IP Hadoop角色 HBase角色 nn1.hadoop zk1.hadoop 172.17.22...