• hive从查询中获取数据插入到表或动态分区

    日期：

    Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。 INSER...

  • hive 客户端调用脚本无法处理中文问题

    日期：

    export LANG=en_US.UTF-8 export LC_CTYPE=en_US.UTF-8 export LC_NUMERIC=en_US.UTF-8 export LC_TIME=en_US.UTF-8 export LC_COLLATE=en_US.UTF-8 export LC_MONETARY=en_US.UTF-8 export LC_MESSAGES=en_US.UTF-8 export LC_PAPER=en_US.UTF-8 export LC_...

  • Hadoop 的安全机制

    日期：

    1. 基于角色的授权（Role based authorization） 确保职责的分离 限制功能性的访问 2. 管理和配置（Admin and Configuration） 基于角色的管理 可配置的节点和集群参数 3. 身份认证框架（Authentication framework） 认证节点 认证客户端应用程序（为了访问集...

  • CentOS 7 安装Hadoop 2.7.1

    日期：

    两台机器 CentOS7（机器名分别为master-CentOS7、slave-CentOS7） 内存2G （笔记本开虚拟机快撑不住了╮(╯-╰)╭ CentOS7 与 CetnOS6 有一些区别 网络配置 master-CentOS7 [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736TYPE=Et...

  • Hbase/Hadoop Java API编程常用语句

    日期：

    从scanner获取rowkey： for(Result rr : scanner) { String key =Bytes.toString(rr.getRow()) } HBase API - Result object getRow() Method for retrieving the row key that corresponds to the row from which this Result was created....

  • Hive 打开调试模式

    日期：

    编程过程中发现错误，无法看到具体的错误信息，网上搜了下，按照下面的方法启动Hive Shell就可以打开调试（注意：此方法只对本次回话有效）： hive --hiveconf hive.root.logger=DEBUG,console 如果需要对所有会话有效，则可以修改Hive的配置文件。不过不建...

  • Apache Hadoop下一代MapReduce框架（YARN）简介 （Apache Hadoop NextGen MapReduce (YARN)）

    日期：

    英文看着头大，先试着翻译一下。 E文原文： http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html 翻译真是太难了，而且我翻译的好烂，好烂，有时候自己也只能理解个大概。 ====================================begin===...

  • MyEclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied:

    日期：

    用MyEclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: 停止hadoop测试环境： [hadoop@icity0bin]$./stop-all.sh Warning:$HADOOP_HOMEisdeprecated. stoppingjobtracker icity1:stoppingtasktracker icity2:sto...

  • hadoop hdfs java api操作实战

    日期：

    hadoop java api操作实战： 公共方法： staticfinalStringPATH=hdfs://icity0:9000/; privatestaticFileSystemgetFileSystem()throwsIOException,URISyntaxException{ FileSystemfileSystem=FileSystem.get(newURI(PATH),newConfiguration()); returnfileSys...

  • hadoop shell 操作指南

    日期：

    hadoop shell 操作指南 FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和aut...

最近关注
热点内容