Transparent Huge Pages 禁用

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues. 解决办法,在Linux下执行： echonever/sys/kernel/mm/redhat_tra...

高性能网站构架的7个方面

高性能网站架构方案，本文谈了七点网站架构方案，用以优化网站响应时间，实现大型网站技术架构方案。无论是电子商务或者其他网站且可使用。 一、优化网站响应时间的架构方案： 网站能不能留的住用户，一方面是看内容，另一方面是看响应时间。通常有以下几个...

利用memcache在web集群中同步会话session

在之前中探讨了web集群中：web集群应用保持session同步的3种方法探讨 个人觉得用memcache来同步session是还是不错的，当然也可以通过redis来保存session php开启将Session存储到Redis缓存，下面是我的设置的利用memcache在web集群中同步会话session过程： 1...

hadoop安装配置

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，网址为http://apache.etoak.com/hadoop/core/。 Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，...

Hadoop NameNode单点问题解决方案之一 AvatarNode

我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)...

hadoop配置文件详解、安装及相关操作

一、Hadoop伪分布配置 1.在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2.在conf/core-site.xml文件中增加如下内容： !--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都...

CentOS上Hadoop环境的搭建与管理

CentOS上Hadoop环境的搭建与管理 please down load the attachment 编辑日期：2015年9月1日 实验要求： 完成Hadoop平台安装部署、测试Hadoop平台功能和性能，记录实验过程，提交实验报告。 1) 掌握Hadoop安装过程 2) 理解Hadoop工作原理 3) 测试Hadoop系统的...

Redis 集群解决方案 Codis 2.0 发布

Codis 是一个分布式Redis解决方案， 对于上层的应用来说， 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别， 上层应用可以像使用单机的 Redis 一样使用， Codis 底层会处理请求的转发， 不停机的数据迁移等工作， 所有后边的一切事情， 对于...

hadoop安全模式

hadoop安全模式 在分布式文件系统启动的时候， 开始的时候会有安全模式 ， 当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根...

用PHP编写Hadoop的MapReduce程序

Hadoop流 虽然Hadoop是用java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数. Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据，并且可...