超越Hadoop的大数据分析之前言-低调大师

超越Hadoop的大数据分析之前言

2017-05-01 670

本文翻译自《BIG DATA ANALYTICS BEYOND HADOOP》译者：吴京润校对：方腾飞

我试图给人们学习大数据留下的一点深刻印象：尽管Apache Hadoop很有用，而且是一项非常成功的技术，但是这一观点的前提已经有些过时了。考虑一下这样一条时间线：由谷歌实现的MapReduce投入使用的时间可追溯到2002年，发表于2004年。Yahoo!于2006年发起Hadoop项目。MR是基于十年前的数据中心的经济上的考虑。从那时以来，已经有太多的东西发生了变化：多核心处理器、大内存地址空间、10G网络带宽、SSD，而至今，这已经产生足够的成本效益。这些极大改变了在构建可容错分布式商用系统规模方面的取舍。

此外，我们对于可处理数据的规模的观念也发生了变化。成功的公司诸如亚马逊、eBay、谷歌，它们想要更上一层楼，也促使随后的商业领袖重新思考：数据可以用来做什么？举个例子，十年前是否有为大型图书出版商优化业务的大规模图论用例？不见得有。出版社高层不可能有耐心听取这样一个古怪的工程建议。这本书本身的营销将基于大规模数据、开源、图论引擎，它们也将在本书后续章节讲到。同样的，广告科技和社交网络应用驱动着开发技术，而如今在工业化的因特网，采用Hadoop将显的捉襟见肘，也就是所谓的“物联网”——在某些情况下，会有几个数量级的差距。

自从MR的商用硬件规模首次制定以来，底层系统的模型已发生了巨大变化。我们的商业需求与期望模型也发生了显著的变化。此外，应用数学的数据规模与十年前的构想也有巨大的差异。如今主流编程语言也能为并行处理的软件工程实践提供更好的支持。

Agneeswaran博士认为这些视图，以及对它们的更多关注和系统方法，呈现了如今大数据环境的全景视图，甚至还有超越。本书引领我们看到过去十年如何通过MapReduce做批处理数据分析。这些章节介绍了理解它们的关键历史背景，并为应用这些技术提供了清晰的商业用例的至关重要的方面。这些论据为每个用例提供了分析，并指出为什么Hadoop不是很适合应用于此——通过对例证的彻底研究、对可用开源技术的出色调查、以及对非开源项目的出版文献的回顾。

本书研究了如今的商业需求中除Hadoop以外的最佳实践以及数据访问方式的可用技术：迭代、流式处理（译者注：原文是streaming）、图论，以及其它技术。比如，一些企业的收入损失计算可精确到毫秒级，以至于“批处理窗口”这样的概念变的毫无意义。实时分析是惟一可以想到的可行方案。开源框架诸如Apache Spark、Storm、Titan、GraphLab，还有Apache Mesos可以满足这些需求。Agneeswaran博士引导读者们了解这些框架的架构和计算模型、研究通用设计模式。他在书中提到了业务范围的影响以及实现细节还有代码样例。

伴随着这些框架，本书也为开放标准预测模型标记语言提出了一个引人入胜的例子，使得预测模型可以在不同平台与环境之间迁移。本书还提到YARN以及下一代超越MapReduce的模型。

这正是当今业界的焦点——Hadoop基于2002年以来的IT经济，然而更新的框架与当代业界的用例更为密切。另外，本书既提供了专家指导，也热烈欢迎由大数据分析开启的无限可能。

Paco Nathan

图书《Enterprise Data Workflows with Cascading》的作者（校对注：样章下载）

Zettacap的顾问以及Amplify的合作伙伴

文章转自并发编程网-ifeve.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/88438

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深度 | 人工智能、机器学习等，2016年值得关注的27项企业技术

企业技术一直以来都被当做消费科技之外的另一个风口，在今年最受期待的科技排行榜上，我们可以预测消费科技将会为企业技术留出此前从未有过的空间。 2016 最受期待的科技排行榜比以前更加拥挤。这不仅是因为今年出现了更多新技术，一部分是因为以消费者为导向的科技产业出现了更多的颠覆性进步，而企业则需要对此做出快速反应，以维持他们在市场上的地位。今年出现的一些新技术的确有可能会在短期内真正地颠覆行业，虽然「颠覆」这个词最近已经被用烂了。他们包括区块链，数字化的用户体验管理，实时流处理，或快速数据。从战略层面上来看，除了考虑技术规划、增长、成熟度外，还需考虑一项技术是否能够对企业运作产生重要影响，并增加企业的竞争优势。在今年，这些战略性技术包括语境运算、工作 App 融合、所谓的低码平台（low code platforms）、智能代理/聊天机器人、自适应网络安全、微服务架构、个性化环境、以及雾计算。从更大的范围来看，水平方向的一些技术改进，或者一些预料之中的重要技术创新，都可能还没有出现在企业的尝试名单上，甚至可能在研发部门或创业孵化中心等待登场。然而，它们的影响可能会十分巨大，以致于企业应...

2017-05-02

560

静点评：李德毅院士的报告题目为《云计算再认识》,他在报告中回顾了过去历届云计算大会上认知,首次提出云计算的天梯概念。李德毅认为从图灵计算到网络计算,云计算的交互性远远超出图灵机,互联网不是一台虚拟的图灵机,交互导致众包、众挖和群体智能。他在PPT中形象地画出了实现云计算的7级天梯:光网宽带、移动宽带、互联网、云计算、物联网、大数据、人工智能,他说这座构想中的理想天梯是信息社会美好的未来,我们IT领域天梯须自强,才能不负重望,把“互联网+”承担起来。李德毅院士还说今年要创新开辟新的电脑系统,或者叫做真正的机器人脑系统。这种机器人脑系统,不但包括计算智能,还要包括记忆智能和交互智能。非常感谢中国指挥与控制学会的刘玉超副秘书长,提供了李德毅院士这篇报告的PPT,让大家都能分享他的智慧。今天的内容分两部分,第一部分是56页PPT,第二部分

2017-05-02

615

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。