• 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径(分享) .

    日期:

    本文原名Dont use Hadoop when your data isnt that big ,出自有着多年从业经验的数据科学家Chris Stucchio,纽约大学柯朗研究所博士后,搞过高频交易平台,当过创业公司的CTO,更习惯称自己为统计学者。对了,他现在自己创业,提供数据分析、推荐优化咨询服...

  • hbase安装配置(整合到hadoop)

    日期:

    如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解...

  • Hadoop实战实例

    日期:

    Hadoop实战实例 Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样,MapReduce的run-time系统会解决输入数据的分布细节,跨越...

  • Hadoop简介

    日期:

    Hadoop的概要介绍 Hadoop,是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台...

  • Hadoop集群配置(最全面总结)

    日期:

    Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为NameNode,另一台不同的机器被指定为JobTracker。这些机器是 masters 。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址:( http://hadoop.apache.org/common/docs/...

  • 使用Storm实现实时大数据分析

    日期:

    摘要: 随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobbs上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了,Storm让大数据分析变得轻松加...

  • CentOS6.4下搭建hadoop2.2(64bit)注意事项

    日期:

    注:本文针对64位机器,32bit课直接tar -zxvfhadoop-2.2.0.tar.gz解压配置即可。 Step1:安装jdk(6以上版本) Step2:下载hadoop---http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/选择hadoop-2.2.0-src.tar.gz 进行源码编译安装。 为什么选择...

  • Hadoop常见重要命令行操作及命令作用

    日期:

    关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar jar run a jar file checknative [-a|-h] check native hadoop and...

  • Hadoop Yarn

    日期:

    http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html http://zh.hortonworks.com/hadoop/yarn/ http://www.csdn.net/article/2013-12-18/2817842-bd-hadoopya...

  • MapReduce提交作业常见问题

    日期:

    1.从HDFS上传下载文件到 第一种错误: spanstyle= font-size:medium; Exceptioninthread main java.lang.IllegalArgumentException: WrongFS:hdfs: //192.168.1.11:9000/usr/yujing/wordcount, expected:hdfs: //master:9000/span 这个很多人都遇到过,不管...