Ambari在线部署hdp

本部署文档逐步介绍了用Ambari在线部署hdp的过程 目录[-] 1集群配置 1.1集群组成 1.2配置ssh无密码登录 1.1配置ntp服务 1.4关闭防火墙服务 1.5配置selinux和umask 2准备部署软件 2.1Jdk下载安装部署 2.2Ambari和HDP下载配置 2.3Ambari安装部署 2.4HDP安装部署...

ambari 异常EC_GROUP_new_by_curve_name:unknown group

在部署ambari的时候会出现如题的错误。这个错误是在配置host的时候出现的错误。直接google如题的错误可以得到 https://www.centos.org/forums/viewtopic.php?f=14t=43803 这个连接的解释，这个是说centos6.5的一个bug，不过已经修复了。如果是使用在线的yum...

Transparent Huge Pages 禁用

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues. 解决办法,在Linux下执行： echonever/sys/kernel/mm/redhat_tra...

高性能网站构架的7个方面

高性能网站架构方案，本文谈了七点网站架构方案，用以优化网站响应时间，实现大型网站技术架构方案。无论是电子商务或者其他网站且可使用。 一、优化网站响应时间的架构方案： 网站能不能留的住用户，一方面是看内容，另一方面是看响应时间。通常有以下几个...

利用memcache在web集群中同步会话session

在之前中探讨了web集群中：web集群应用保持session同步的3种方法探讨 个人觉得用memcache来同步session是还是不错的，当然也可以通过redis来保存session php开启将Session存储到Redis缓存，下面是我的设置的利用memcache在web集群中同步会话session过程： 1...

hadoop安装配置

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，网址为http://apache.etoak.com/hadoop/core/。 Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，...

Hadoop NameNode单点问题解决方案之一 AvatarNode

我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)...

hadoop配置文件详解、安装及相关操作

一、Hadoop伪分布配置 1.在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2.在conf/core-site.xml文件中增加如下内容： !--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都...

CentOS上Hadoop环境的搭建与管理

CentOS上Hadoop环境的搭建与管理 please down load the attachment 编辑日期：2015年9月1日 实验要求： 完成Hadoop平台安装部署、测试Hadoop平台功能和性能，记录实验过程，提交实验报告。 1) 掌握Hadoop安装过程 2) 理解Hadoop工作原理 3) 测试Hadoop系统的...

Redis 集群解决方案 Codis 2.0 发布

Codis 是一个分布式Redis解决方案， 对于上层的应用来说， 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别， 上层应用可以像使用单机的 Redis 一样使用， Codis 底层会处理请求的转发， 不停机的数据迁移等工作， 所有后边的一切事情， 对于...