Hadoop 2.0:大数据的新突破

    作者:课课家更新于: 2015-10-30 10:26:23


    在众多学习中,文章也许不起眼,但是重要的下面我们就来讲解一下!!

    不过这并不一定就是坏事。Oracle培训把 Hadoop 当作廉价有效的存储正好是 Hadoop 下一阶段演进的的完美起点。今年夏天就要亮相的 Hadoop 2.0 将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
    Hadoop大桶
    自成为大数据工具以来,Hadoop 就是一个非常棒的数据存储系统,但是需要开发 Java应用来访问数据的 MapReduce 学习起来却比较困难。
    当然,还有别的办法可以从 Hadoop 中获取信息。Hbase数据是 Hadoop 的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类 SQL 的 HiveSQL 查询语言来创建查询并转化为 MapReduce 任务。不过 Hadoop 仍受限于单线程性。MapReduce 任务、Hive 查询、Hbase 操作,等等,这些都要轮流进行。oracle教程

    这就是oracle视频教程许多大数据供应商倾向于仅将 Hadoop 当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把 Hadoop 形容为一个大桶很形象,但是 Hadoop 用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了 Hadoop 的卖点。
    Hadoop 的开发社区也意识到这个问题,随着 Hadoop 即将迭代到新的版本,上述限制即将在很大程度上被解除。

    有人把数据比喻为蕴[4]  藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在,而在于有用。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是成为赢得竞争的关键。
      大数据的价值体现在以下几个方面:1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;2) 做小而美模式的中长尾企业可以利用大数据做服务转型;3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
    不过,“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过:“就今日言,有很多人忙碌于资料之无益累积,以致对问题之说明与解决,丧失了其对特殊的经济意义的了解。”[5]  这确实是需要警惕的。


    Yarn解决方案

    在 Hadoop 2.0 发布经理 Arun Murthy 看来,其最重要的变化是 MapReduce 框架升级为ApacheYARN,这将扩展 Hadoop 中可以应用的软件种类和应用程度。Arun Murthy 本人就是 YARN 项目主管,他指出,Hadoop 1.0 和 2.0 的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。oracle数据库教程
    相对于当前 MapReduce 系统能处理的事情,把这些功能分开使得 Hadoop 集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
    有了 YARN,开发者就能够直接在 Hadoop 内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
    Murthy 称,现在已经有供应商对在 YARN 框架内开发应用表现出兴趣。Murthy 估计,Hadoop 2.0 的强力 beta 版有可能会在今年 6 月或 7 月推出,正式版则可能在 8 月发布。
    如果 YARN 的确能履行其承诺的话,开发者将可以在原生的 Hadoop 平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
    更多视频课程文章的课程,可到课课家官网查看。我在等你哟!!!

课课家教育

未登录

1