当前位置: > Linux集群 > Hadoop >

如何整合Hadoop为 移动所用

时间:2014-07-02 21:37来源:linux.it.net.cn 作者:IT网

  为了满足移动应用开发的需求,现有的Hadoop应用程序应该得到充分利用。

  根据CIMI公司最新的一项研究调查显示,企业考虑支持把加强移动办公人员移动性和生产效率的新型应用程序作为最高优先级来开发。这意味着大多数公司已经采用或者正在采用, Hadoop框架很可能将不得不与移动应用程序整合。

  整合Hadoop和移动应用程序的过程可以分解为三部分:

  认识Hadoop在移动使用中的固有局限性

  创建真实的Hadoop应用程序框架

  在移动应用程序中提供Hadoop支持和故障排除

  Hadoop是一个开放实现的MapReduce模型,用于处理大型分布式数据库。由于Hadoop关联到云以及云部署,大多数人忽略了一点,Hadoop有些属性不适合一般企业的需求,特别是移动应用程序。下面是其中的一些特点:

  1. Hadoop的最大价值在于数据库,而Hadoop所用的数据库是移动应用程序所用数据库的10到1000倍。对于许多人来说,使用Hadoop就是杀鸡用牛刀。

  2. Hadoop有显著的设置和处理开销。 Hadoop工作可能会需要几分钟的时间,即使相关数据量不是很大。

   3. Hadoop在支持具有多维上下文数据结构方面不是很擅长。例如,一个定义给定地理变量值的记录,然后使用垂直连接,来连续定义一个比hadoop使用的键值对定义更复杂的数据结构关系。

  4. Hadoop必须使用迭代方法处理的问题方面用处不大——尤其是几个连续有依赖性步骤的问题。

  综上所述,移动应用程序通常不应该被设计为一个新的Hadoop应用。而调整Hadoop来满足移动应用的需求,需要通过移动应用连接利用现有的Hadoop应用。

(责任编辑:IT)
------分隔线----------------------------