• hadoop 优化0

    日期：

    1.hadoop-env.sh：该文件用来配置hadoop所需的特殊环境变量： JAVA与HADOOP环境变量的设置（如果在~/.bash_profile中设置了环境变量，这里可以不进行配置） export JAVA_HOME=/home/admin/deploy/java6 exportHADOOP_HOME=/home/admin/deploy/hadoop-0.20.2...

  • Hadoop集群作业调度算法

    日期：

    Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法 先来先服务（FIFO） FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业...

  • 《Linux keepalived与lvs的深入分析》二之虚拟服务器配置分析

    日期：

    一)概述 在本篇文章里,我们会涉及两部份内容,一个是LVS,另一个则是keepalived. 即我们用LVS和keepalived实现了负载均衡及高可用的服务器. LVS有实现三种IP负载均衡技术和八种连接调度算法.并且LVS集群采用三层结构,即负载调度器,服务器池,共享存储. 1)负载调...

  • 《Linux keepalived与lvs的深入分析》二之虚拟服务器配置分析

    日期：

    六)虚拟服务器配置分析 virtual_server vip 端口{}是虚拟服务器配置定义部份. 下面的示例是lvs1中的配置: virtual_server 10.1.1.166 80 { delay_loop 6 lb_algo wrr lb_kind DR persistence_timeout 60 protocol TCP real_server 10.1.1.163 80 { TCP_CHECK...

  • 《Linux keepalived与lvs的深入分析》三之负载调度算法

    日期：

    七)负载调度算法 1)轮叫调度（Round Robin）(简称rr) 调度器通过轮叫调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载. 下面看一下轮叫调度的效果,如下: while ((1)); do ipvsadm -l...

  • LVS集群之十种调度算法及负载均衡——理论

    日期：

    一、LVS概念 LVS（Linux Virtual Server）：Linux 虚拟服务器 LVS是个负载均衡设备，它不提供任何服务，用户请求到这里的时候，它是将客户需求转发至后端真正提供服务的服务，所以说后端的服务称作real server。LVS分为两段，前一段称为ipvsadm（管理集群服...

  • BalanceNG STABLE 3.581 发布，负载均衡软件

    日期：

    BalanceNG STABLE 3.581 发布，与上一版本 3.580 相比，修复了一个 bug： 解决了 SIP session id 处理器的问题 强烈建议每位用户直接使用 server N sessionid sip 安装。 此版本现已提供下载： BalanceNG-3.581-1.x86_64.rpm (1.1M) balanceng_3.581_i386.de...

  • hadoop2.0 遇到的问题 （持续更新）

    日期：

    最近在弄hadoop2.0，把遇到的一些问题做个笔记： 版本：apache hadoop-2.2.0 2013-10-29 在启动nodemanager的时候报下面的错误： 2013-10-2911:32:21,523FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManager java.lang.Il...

  • Hadoop HDFS 升级到2.0 笔记

    日期：

    首先先看一下文档： http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2/ http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-in-version-1/ http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-...

  • Hadoop2.2.0 实例测试 WordCount程序

    日期：

    装好的hadoop测试一1个示例程序WordCount，首先需要在操作系统上新建两个任意文件，然后上传到hadoop，再运行该程序统计文件中单词的个数，最后查看结果。 在操作系统上新建任意文件： 例如： [hadoop@hadoop01 input]$ ls test1.txt test2.txt 查看hadoop的...

最近关注
热点内容