hadoop HDFS详解

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的...

Linux下MemCached安装及c#客户端调用

一、Linux下MemCached安装和启动 如果是centos可以yum安装 # yum install libevent-devel 如果不支持yum的系统，可以这样装libevent # cd /usr/local/src # wget http://www.monkey.org/~provos/libevent-1.4.12-stable.tar.gz # tar vxf libevent-1.4.12-st...

Nginx+Keepalived实现站点高可用

公司内部 OA 系统要做线上高可用，避免单点故障，所以计划使用2台虚拟机通过 Keepalived 工具来实现 nginx 的高可用（High Avaiability），达到一台nginx入口服务器宕机，另一台备机自动接管服务的效果。（nginx做反向代理，实现后端应用服务器的负载均衡）...

Nginx+Tomcat+Session 高性能群集搭建（测试通过）

做了一个nginx+tomcate+Session 的负载均衡的tomcat集群，tomcat是用的6.0， nginx 用的是nginx-1.1.11。测试的目的是看看访问的压力分布和session共享。先看看测试效果。 我在nginx中的nginx.conf中配置的访问权重。是 upstream127.0.0.1{ #weigth参数表示...

Linux下Memcached服务器部署

操作系统：CentOS 6.x 64位 实现目的：安装部署Memcached服务器 一、防火墙设置 vi /etc/sysconfig/iptables#编辑防火墙配置文件，添加下面代码 -A INPUT -m state --state NEW -m tcp -p tcp --dport 11211 -j ACCEPT :wq!#保存退出 service iptables resta...

hive 的 简单操作语句

简单的创建表 create table table_name ( id int, dtDontQuery string, name string) 创建有分区的表 create table table_name ( id int, dtDontQuery string, name string)partitioned by (date string) 一个表可以拥有一个或者多个分区，每个分区以文件夹...

Hadoop 的命令笔记

bin/hadoop jar /home/***/secure_hadoop_project.jar package.OldInfoMerge /merges/old.txt /merges/tmp1 查看根目录的列表 bin/hadoop fs -lsr / 单节点启动 5)重启namenode sudo -u hdfs /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf...

Hadoop2 基本配置教程

本文为安装指导，在安装过程中，我们可以注意一下问题： 1.当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个？通过那个文件来进行配置？ 2.NameNode、DataNode、JournalNode等存放数据的默认公共目录在什么位置？ 3.那个文件可以配置Zoo...

Hive 安装

1 、下载Hive-0.11.0 http://apache.cs.utah.edu/hive/hive-0.11.0/ 2、解压安装 Hive原则上可以安装在集群上的任何一台机器上面，但是考虑到 master节点的负荷比较大，我们选择一台机器性能较好的datanode来安装hive。在我们的集群中选择cloud003来安装hive...

hive从查询中获取数据插入到表或动态分区

Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。 INSER...