• 大型网站架构系列：负载均衡详解

    日期：

    一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处文末。 二...

  • CentOS 7 安装Hadoop 2.7.1

    日期：

    两台机器 CentOS7（机器名分别为master-CentOS7、slave-CentOS7） 内存2G （笔记本开虚拟机快撑不住了╮(╯-╰)╭ CentOS7 与 CetnOS6 有一些区别 网络配置 master-CentOS7 [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736TYPE=Et...

  • LVS+Keepalived(DR模式)学习笔记

    日期：

    1.简述 在互联网的中型项目中，单服务器往往已经无法满足业务本身的性能要求，这时候就会平行扩展，把负载分摊到数台服务器上(集群)。一般实现集群有DNS轮询，LVS，nginx负载均衡。 集群主要目的包括如下三点：高可用、可扩展、负载均衡。 一个完整的集群架...

  • Hbase/Hadoop Java API编程常用语句

    日期：

    从scanner获取rowkey： for(Result rr : scanner) { String key =Bytes.toString(rr.getRow()) } HBase API - Result object getRow() Method for retrieving the row key that corresponds to the row from which this Result was created....

  • Hive 打开调试模式

    日期：

    编程过程中发现错误，无法看到具体的错误信息，网上搜了下，按照下面的方法启动Hive Shell就可以打开调试（注意：此方法只对本次回话有效）： hive --hiveconf hive.root.logger=DEBUG,console 如果需要对所有会话有效，则可以修改Hive的配置文件。不过不建...

  • Apache Hadoop下一代MapReduce框架（YARN）简介 （Apache Hadoop NextGen MapReduce (YARN)）

    日期：

    英文看着头大，先试着翻译一下。 E文原文： http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html 翻译真是太难了，而且我翻译的好烂，好烂，有时候自己也只能理解个大概。 ====================================begin===...

  • Keepalived+Nginx架构整理版

    日期：

    Keepalived介绍 keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中...

  • MyEclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied:

    日期：

    用MyEclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: 停止hadoop测试环境： [hadoop@icity0bin]$./stop-all.sh Warning:$HADOOP_HOMEisdeprecated. stoppingjobtracker icity1:stoppingtasktracker icity2:sto...

  • hadoop hdfs java api操作实战

    日期：

    hadoop java api操作实战： 公共方法： staticfinalStringPATH=hdfs://icity0:9000/; privatestaticFileSystemgetFileSystem()throwsIOException,URISyntaxException{ FileSystemfileSystem=FileSystem.get(newURI(PATH),newConfiguration()); returnfileSys...

  • hadoop shell 操作指南

    日期：

    hadoop shell 操作指南 FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和aut...

最近关注
热点内容