• Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4 + Hadoop_

    日期:

    一.环境准备 1.VMware workstation 9 2. Red Hat linux 6.4版本32bit 3.JDK版本jdk-7u45-linux-i586 4. Hadoop jar包1.2.1版本32位 5.远程登录及ftp工具(自选) 备注: hadoop安装包下载下载地址:hadoop.apache.org 目前最新版本已经更新到2.2.0发布版本 二...

  • 用kangle部署多节点CDN

    日期:

    满意的用户体验是网站吸引和留住用户的必备条件。据统计,如果等待网页打开的时间超过8秒,将会有超过30%的用户放弃等待,造成严重的用户流失,降低了用户的体验度和忠诚度。特别是大型网站内容涉及面多,涵盖文字、图片、视频、音频等,更新的实时性要求高,...

  • CentOS 6.2及最新操作系统部署Hadoop的注意事项

    日期:

    最近新采购的一批机器,由于intel cpu体系架构的改变,新机器的系统需要升级,选择了CentOS6.2系统。 1 在新机器上将MR业务开启后,导致整个集群都反应很慢,运行的job几乎都被卡住;通过ganglia监控发现,机器的system cpu超过30%,机器几乎是满负载的情况...

  • 在 Linux/UNIX 终端下使用 nload 实时监控网络流量和带宽使用

    日期:

    如果你想在命令行界面监控网络吞吐量,nload 应用程序是个不错的选择。它是一个实时监控网络流量和带宽使用的控制台应用程序,使用两个图表可视化地展示接收和发送的流量,并提供诸如数据交换总量、最小/最大网络带宽使用量等附加信息。 安装 在 CentOS/RHEL...

  • mysql主从备份

    日期:

    一、系统环境: Centos5.5 主机(MASTER):192.168.0.10 从机(SLAVE): 192.168.0.20 在slave上yum安装Mysql #yum install -y mysql mysql-server 不要开启mysql服务,将master上的/etc/my.cnf文件内容复制slave上的/etc目录下 #rm -rf /var/lib/mysql -R...

  • LVS集群系统网络核心原理分析

    日期:

    Internet的快速增长使多媒体网络服务器面对的访问数量快速增加,服务器需要具备提供大量并发访问服务的能力,因此对于大负载的服务器来讲,CPU、I/O处理能力很快会成为瓶颈。由于单台服务器的性能总是有限的,简单的提高硬件性能并不能真正解 决这个问题。为...

  • Linux高性能计算集群 - 概述

    日期:

    本文是Linux高性能集群系列文章的第一部分。这一部分介绍了集群系统的基本知识,并解释了两类主要的集群:高可用集群和高性能集群。本系列文章的后面几部分将围绕Beowulf高性能集群展开。笔者先介绍Beowulf集群的体系结构,然后陆续介绍Beowulf集群的硬件、网...

  • Linux高性能计算集群 -- Beowulf集群

    日期:

    作者:金戈 文是高性能集群系列文章的第二部分。在本文中,笔者首先介绍了Beowulf集群的历史、分类,然后重点阐述了Beowulf集群的系统架构和各部分组件:硬件、网络、软件和应用。 1 什么是Beowulf集群 Beowulf是现存的最古老的英语史诗: Famed was this Beowu...

  • Linux高性能集群 - 硬件和网络体系结构

    日期:

    本文是高性能集群系列文章的第三部分。在本文中,笔者以IBM eServer Cluster 1300为例介绍了Beowulf集群中硬件和网络体系结构和组成部分。 1 Beowulf集群硬件和网络体系结构 图 1是Cluster 1300的硬件和网络体系结构图。从图中可以看出,整个系统由5类计算或...

  • Linux高性能集群 - 软件体系结构

    日期:

    本文是高性能集群系列文章的第三部分。在本文中,笔者以IBM eServer Cluster 1300为例介绍了Beowulf集群中硬件和网络体系结构和组成部分。 1 Beowulf集群软件结构 图1 是Beowulf集群的软件体系机构。一般来说,Beowulf集群由如下几个软件部分组成: 操作系统...