hive 的 简单操作语句

简单的创建表 create table table_name ( id int, dtDontQuery string, name string) 创建有分区的表 create table table_name ( id int, dtDontQuery string, name string)partitioned by (date string) 一个表可以拥有一个或者多个分区，每个分区以文件夹...

Hadoop 的命令笔记

bin/hadoop jar /home/***/secure_hadoop_project.jar package.OldInfoMerge /merges/old.txt /merges/tmp1 查看根目录的列表 bin/hadoop fs -lsr / 单节点启动 5)重启namenode sudo -u hdfs /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf...

Hadoop2 基本配置教程

本文为安装指导，在安装过程中，我们可以注意一下问题： 1.当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个？通过那个文件来进行配置？ 2.NameNode、DataNode、JournalNode等存放数据的默认公共目录在什么位置？ 3.那个文件可以配置Zoo...

Hive 安装

1 、下载Hive-0.11.0 http://apache.cs.utah.edu/hive/hive-0.11.0/ 2、解压安装 Hive原则上可以安装在集群上的任何一台机器上面，但是考虑到 master节点的负荷比较大，我们选择一台机器性能较好的datanode来安装hive。在我们的集群中选择cloud003来安装hive...

hive从查询中获取数据插入到表或动态分区

Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。 INSER...

hive 客户端调用脚本无法处理中文问题

export LANG=en_US.UTF-8 export LC_CTYPE=en_US.UTF-8 export LC_NUMERIC=en_US.UTF-8 export LC_TIME=en_US.UTF-8 export LC_COLLATE=en_US.UTF-8 export LC_MONETARY=en_US.UTF-8 export LC_MESSAGES=en_US.UTF-8 export LC_PAPER=en_US.UTF-8 export LC_...

Hadoop 的安全机制

1. 基于角色的授权（Role based authorization） 确保职责的分离 限制功能性的访问 2. 管理和配置（Admin and Configuration） 基于角色的管理 可配置的节点和集群参数 3. 身份认证框架（Authentication framework） 认证节点 认证客户端应用程序（为了访问集...

linux 安装memcached

Downloads Latest stable memcached-1.4.29.tar.gz (2016-7-13) ( release notes ) (sha1: 8994b4d0dbcc8d536f3d6cd4763489a3c51ca44b ) Older releases Full list of releases Installation Debian/Ubuntu: apt-get install libevent-dev Redhat/Centos: yu...

Ceph v10.2.3 Jewel 发布，分布式文件系统

Ceph v10.2.3 Jewel 发布了。 Ceph是加州大学Santa Cruz分校的Sage Weil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开 发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于...

memcache安装

一，memcache简单介绍： memcached是高性能的分布式内存缓存服务器，为了提高性能，memcached中的数据都保存在内存中，重启memcached及重启操作系统都会导致缓存中的数据全部丢失，其缓存的数据达到指定的内存分配值之后，就会使用LRU算法删除不使用的缓存。...