hive 客户端调用脚本无法处理中文问题

export LANG=en_US.UTF-8 export LC_CTYPE=en_US.UTF-8 export LC_NUMERIC=en_US.UTF-8 export LC_TIME=en_US.UTF-8 export LC_COLLATE=en_US.UTF-8 export LC_MONETARY=en_US.UTF-8 export LC_MESSAGES=en_US.UTF-8 export LC_PAPER=en_US.UTF-8 export LC_...

Hadoop 的安全机制

1. 基于角色的授权（Role based authorization） 确保职责的分离 限制功能性的访问 2. 管理和配置（Admin and Configuration） 基于角色的管理 可配置的节点和集群参数 3. 身份认证框架（Authentication framework） 认证节点 认证客户端应用程序（为了访问集...

linux 安装memcached

Downloads Latest stable memcached-1.4.29.tar.gz (2016-7-13) ( release notes ) (sha1: 8994b4d0dbcc8d536f3d6cd4763489a3c51ca44b ) Older releases Full list of releases Installation Debian/Ubuntu: apt-get install libevent-dev Redhat/Centos: yu...

Ceph v10.2.3 Jewel 发布，分布式文件系统

Ceph v10.2.3 Jewel 发布了。 Ceph是加州大学Santa Cruz分校的Sage Weil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开 发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于...

memcache安装

一，memcache简单介绍： memcached是高性能的分布式内存缓存服务器，为了提高性能，memcached中的数据都保存在内存中，重启memcached及重启操作系统都会导致缓存中的数据全部丢失，其缓存的数据达到指定的内存分配值之后，就会使用LRU算法删除不使用的缓存。...

大型网站架构系列：负载均衡详解

一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处文末。 二...

CentOS 7 安装Hadoop 2.7.1

两台机器 CentOS7（机器名分别为master-CentOS7、slave-CentOS7） 内存2G （笔记本开虚拟机快撑不住了╮(╯-╰)╭ CentOS7 与 CetnOS6 有一些区别 网络配置 master-CentOS7 [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736TYPE=Et...

LVS+Keepalived(DR模式)学习笔记

1.简述 在互联网的中型项目中，单服务器往往已经无法满足业务本身的性能要求，这时候就会平行扩展，把负载分摊到数台服务器上(集群)。一般实现集群有DNS轮询，LVS，nginx负载均衡。 集群主要目的包括如下三点：高可用、可扩展、负载均衡。 一个完整的集群架...

Hbase/Hadoop Java API编程常用语句

从scanner获取rowkey： for(Result rr : scanner) { String key =Bytes.toString(rr.getRow()) } HBase API - Result object getRow() Method for retrieving the row key that corresponds to the row from which this Result was created....

Hive 打开调试模式

编程过程中发现错误，无法看到具体的错误信息，网上搜了下，按照下面的方法启动Hive Shell就可以打开调试（注意：此方法只对本次回话有效）： hive --hiveconf hive.root.logger=DEBUG,console 如果需要对所有会话有效，则可以修改Hive的配置文件。不过不建...