org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(args) --input 偏好数据路径，文本文件。格式 userid\t itemid\t preference --output 推荐结果路径 -- numRecommendations 推荐个数 --usersFile 需要做出推荐的user，默认全部做推荐 --itemsF...

http://blog.csdn.net/u010967382/article/details/39209329 http://blog.csdn.net/fansy1990/article/details/23261633 先编译mahout源码让其支持hadoop2 再把本地仓储repository里的jar包替换成编译后的jar包 修改后的源码包（http://download.csdn.net/de...

相似距离(距离越小值越大) 优点 缺点 取值范围 PearsonCorrelation 类似于计算两个矩阵的协方差 不受用户评分偏高 或者偏低习惯影响的影响 1. 如果两个item相似个数小于2时 无法计算相似距离. [可以使用item相似个数门限来解决.] 没有考虑两个用户之间的交集...

来自：http://www.codesky.net/article/201206/171862.html mahout的taste框架是协同过滤算法的实现。它支持DataModel，如文件、数据库、NoSQL存储等，也支持Hadoop的MapReduce。这里主要分析的基于MR的实现。 基于MR的CF实现主要流程就在 org.apache.mahout...

来自：https://www.mapr.com/blog/how-to-avoid-java-heap-space-errors-understanding-and-managing-task-attempt-memory#.VMWvNDGUfXY Keeping these five steps in mind can save you a lot of headaches and avoid Java heap space errors. Calculate me...

1.前言 2006年,Jboss公司被Redhat公司收购了。这直接导致Jboss产品结构调整，并将以前收费的Jboss AS文档改为免费。jijian91本次集群试验的最初依据就是由此得到的Jboss 4.0.5集群配置文档。 但这份官方文档并不可靠,在一些关键配置上含混不清，而且夹杂了很...

Haproxy 1.5.12 正式发布，此版本修复了一些 bugs，其中两个会因为一些特定的配置而发生崩溃。还有一些关于 RFC7230 方面的 bug 修复。此版本禁用了日志记录，响应 400/408 和空白连接错误计数器。其他改进： - BUG/MINOR: ssl: Display correct filename in...

Hive是facebook开源的一个非常伟大的工具，可以将hadoop中的数据用sql方式进行查询，比自己写map/reduce程序要方便很多。但是在实际使用中发现hive其实不够稳定，极少数情况会出现端口不响应或者进程丢失的问题，所以考虑将hive做成负载均衡的方式。或者更严...

最近痛感在集群里逐台部署ganglia, cacti这些监控的东西很麻烦，就写了个小程序去批量自动部署。原理是通过python的pexpect用ssh去复制文件和执行系统命令，我用它来部署ganglia等，但是其他的东西也可以通过这个脚本来批量部署，只要自己编写部署脚本就可以...

Yelp 础设施团队的主要目标之一就是为了尽可能接近零停机时间。那也就是说当用户访问www.yelp.com 作出动作的时候，网站的响应速度必须尽可能的快。一种方法是使用 HAProxy 负载均衡能够保持 www.yelp.com 网站的响应速度。通常我们在任何地方都使用 HAProxy...

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知...

自学hadoop也有一段时间了。这里介绍一下hadoop实验环境的安装配置，给需要学习hadoop的朋友提供参考，也方便以后自己查阅。 这里只是梳理大概的步骤，细节的东西还需要自己多查资料。 1、准备工作 安装好VMware。并且在虚拟机上安装好一个linux系统。我的实...

在浅谈linux集群（http://www.linuxidc.com/Linux/2012-08/68094.htm）一文中介绍了集群的基本概念和LVS的基本概念,也说到LVS有三种模型,NAT,DR,TUN,三种,那么它们具体是怎么实现负载均衡的呢?此篇博客的目的就是详解三种模型的工作方式以及每一种模型的配置....

1、方案说明 目标是搭建企业级的高可用负载均衡集群服务。采用Keepalived + LVS + Tomcat + Memcache Session Manager + Memcached解决方案。其中： LVS：Linux Virtual Server是 Linux 虚拟服务器，可以把多台服务器虚拟为一个虚拟 IP ，同时实现各种负载均...

为什么现在用cluster(计算集群)都用linux? 为什么不用freebsd? 难道是像下面这篇文章说的? 哪种OS更适合高性能网络应用 摘要 本文通过实验测试对Linux、Solaris (for Intel)、FreeBSD和Windows 2000在运行高性 能网络应用程序方面的速度进行了比较。描述了如...

基于Linux集群系统的资源共享方案 这是高二暑假为了参加上海市Intel杯创新大赛而做的课题，原本是为了建立一个简单的集群模型然后研究一下负载均衡算法的，结果由于课业的压力，没能完成，结果就成了这副德性。这是初稿，不是最终的参赛论文，这样的文章当然...

BalanceNG 3.600 发布，此版本相比上一主版本主要改进如下： 添加了配置指令和功能 server N tcprefuse ，允许配置 IPv4 和 IPv6 的 TCP 连接拒绝 更新手册 此版本现已提供下载： BalanceNG-3.600-1.x86_64.rpm (1.1M) BalanceNG-3.600-OSX.pkg (2.0M) balan...

前言 本文主要讨论Redis集群相关技术及新发展，关于Redis运维等内容，以后另开主题讨论。 本文重点推荐Codis豌豆荚开源的Redis分布式中间件（该项目于4个月前在GitHub开源，目前star已超过2100）。其和Twemproxy相比，有诸多激动人心的新特性，并支持从Twemp...

Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小...

CentOS5.5 + LVS（Master+Slave）+ 2 WEB， Web提前配置好页面，以便区分是分配到哪台真机上， 实验前防火墙、selinux关闭。 1. 下载相关软件包 #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz #wget http://www.keepaliv...

一、环境准备 1) 软件 * CentOS 6.4 64位 * Hadoop2.2.0 * Jdk 1.6+ * Meven3.0.0 2) 修改主机名 * vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 主机名自己设置(在后面配置好DNS映射就好) 3) 修改IP地址(设置为静态的) * vim /etc/sysconfig/...

EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写，以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 支持特性如下: 1.Haoop 稳定版本 hadoop-1....

1.把hadoop、starthadoop.sh stophadoop.sh 拷贝/opt/下面 (注starthadoop.sh stophadoop.sh 是开启、关闭hadoop 脚本，可以根据目录不同更改) 2.把hadoop拷贝/etc/rc.d/init.d/下面 3.chmod 755 /opt/starthadoop.sh stophadoop.sh /etc/rc.d/init.d/hadoop...

集群是个热门话题，在企业中越来越多地应用Linux操作系统提供邮件、Web、文件存储、数据库等服务，随着Linux应用的日益增长，高可用及负载均衡Linux集群也在企业中逐步地发展起来。Linux平台的低成本、高性能、高扩展性使得Linux集群能够以低廉的价格很好地...

Linux集群概述 集群是个热门话题，在企业中越来越多地应用Linux操作系统提供邮件、Web、文件存储、数据库等服务，随着Linux应用的日益增长，高可用及负载均衡Linux集群也在企业中逐步地发展起来。Linux平台的低成本、高性能、高扩展性使得Linux集群能够以低...

环境: 虚拟机:VMware Workstation 操作系统:CentOS 5.5 一、keepalived+lvs-DR模式配置高可用负载均衡 拓扑如下： 二、服务器ip配置信息 1. ip_lb 主机(master) : 2.ip_lb_2 主机 (backup) 3.web1 主机 4.web2 主机 三、在master和backup分别查看是否有ipvsa...

在部署cloudera hadoop集群中，使用网络安装hadoop网速不太给力，需要创建一个本地源服务器，加速安装过程或者提高增加节点安装部署效率。 创建步骤 1. 如果是安装部署cloudera 4版本，需要先安装cloudera 源RPM文件 for redhat/ centos 5 64位服务器 rpm -Uv...

Fluentd是一个开源收集事件和日志系统，它目前提供150+扩展插件让你存储大数据用于日志搜索，数据分析和存储。 官方地址 http://fluentd.org/ 插件地址 http://fluentd.org/plugin/ Kibana 是一个为 ElasticSearch 提供日志分析的 Web ui工具，可使用它对日...