Hadoop文件系统和文件命令

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 文件系统 URI 方案 Java实 现(全部在 org.apache.hadoop) 描述 Local file fs.LocalFileSystem...

hadoop pig 版本不兼容问题

在hadoop和pig安装过程中，经常会出现hadoop和pig版本不兼容的问题，下面基于Hadoop2.3.0和pig0.12.0在安装过程中版本不兼容导致的问题进行说明。 在Hadoop2.3.0和pig0.12.0安装完后，运行过程中，hadoop和piggrunt均运行正常但是dump数据报下面的错误： ERRO...

apache pig技术综述

本文总结了apache pig 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 3 安装部署 4 Pig基本概念 5 Pig操作符介绍 5.1 AVG求平均 5.2 Count统计行数 5.3 FLATTEN扁平操作 5.4 GROUP分组操作 5.5 tuple加载 5.6 DISTINCT去重 5.7 STREAM操作 5.8 传入参数 5.9...

apache hive 使用概述

本文总结了apache hive 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 1.2 Hive和传统数据库进行比较 1.3应用场景 2 产品架构 2.1 服务 2.2元数据 2.3NameNode与JobTracker 3 安装部署 4 数据存储模式 5 基本操作 5.1 Hive内置数据类型 5.2 Hive参数配置方法...

hadoop hbase维护问题总结

本文总结hadoop、hbase运维过程中的一些问题，仅供参考。 目录[-] 1pid不存在的问题 2hbase清除表数据的命令 1pid不存在的问题 hadoop停止集群时，报错如下所示： nonamenodetostop nodatanodetostop noseconderynamenodetostop noresourcemanagertostop nono...

Ambari在线部署hdp

本部署文档逐步介绍了用Ambari在线部署hdp的过程 目录[-] 1集群配置 1.1集群组成 1.2配置ssh无密码登录 1.1配置ntp服务 1.4关闭防火墙服务 1.5配置selinux和umask 2准备部署软件 2.1Jdk下载安装部署 2.2Ambari和HDP下载配置 2.3Ambari安装部署 2.4HDP安装部署...

ambari 异常EC_GROUP_new_by_curve_name:unknown group

在部署ambari的时候会出现如题的错误。这个错误是在配置host的时候出现的错误。直接google如题的错误可以得到 https://www.centos.org/forums/viewtopic.php?f=14t=43803 这个连接的解释，这个是说centos6.5的一个bug，不过已经修复了。如果是使用在线的yum...

Transparent Huge Pages 禁用

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues. 解决办法,在Linux下执行： echonever/sys/kernel/mm/redhat_tra...

高性能网站构架的7个方面

高性能网站架构方案，本文谈了七点网站架构方案，用以优化网站响应时间，实现大型网站技术架构方案。无论是电子商务或者其他网站且可使用。 一、优化网站响应时间的架构方案： 网站能不能留的住用户，一方面是看内容，另一方面是看响应时间。通常有以下几个...

利用memcache在web集群中同步会话session

在之前中探讨了web集群中：web集群应用保持session同步的3种方法探讨 个人觉得用memcache来同步session是还是不错的，当然也可以通过redis来保存session php开启将Session存储到Redis缓存，下面是我的设置的利用memcache在web集群中同步会话session过程： 1...