独家 | 一文读懂大数据处理框架-低调大师

独家 | 一文读懂大数据处理框架

2017-07-02 596

前言

说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce:Simplied Data Processing on Large Clusters》。在当时（2000年左右），由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志；计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输入数据量很大，单机难以处理。所以需要利用分布式的方式完成计算，并且需要考虑如何进行并行计算、分配数据和处理失败等等问题。

针对这些复杂的问题，Google决定设计一套抽象模型来执行这些简单计算，并隐藏并发、容错、数据分布和均衡负载等方面的细节。受到Lisp和其它函数式编程语言map、reduce思想的启发，论文的作者意识到许多计算都涉及对

微信关注我们

原文链接：https://yq.aliyun.com/articles/223783

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IBM在2016年将拓展其云数据分析服务业务

前段时间IBM对外宣布即将实施四项新数据服务：Analytics Exchange（分析交换），Compose Enterprise（企业及数据库服务），Graph（图形数据库服务）和Predictive Analytics（预测分析）。IBM的新数据服务是为了让用户能够对自己的数据进行分析，或者是能够访问由IBM提供的数据集。而一些服务此前一直运行在BlueMix云平台上，这样的话就可以将其他数据部署在包括私有云在内的云平台上面。 Analytics Exchange（分析交换）。这项服务涵盖了超过150个公共数据集，数据类别包括通信、经济、地理、政务、交通等等。例如，它包括全球手机订阅的统计数据，或者世界上所有国家的水道统计数据。目前这项服务还在测试中，一旦发布之后，这项服务的所有数据集都会有详细的介绍。 Compose Enterprise（企业及数据库服务）。这项服务是基于被IBM收购的一家公司Compose原有的成果基础上改进的，根据IBM的发言人表示这项服务会在2016年3月初发布。此服务包括多个数据库——MongoDB，Redis，Elasticsearch，Postgr...

2017-07-03

553

星期四发布的一份报告显示，大数据公司Cloudera公司已经提交了用于首次公开发行的S-1文件。 Cloudera已经秘密提交了IPO文件彭博社援引来自“知情人士”的消息表示，该公司按照Jumpstart Our Business Startups Act的规定秘密地提交了该文件，该规定允许一家新兴的成长型公司（定义为年收入在10亿美元以下的公司）不披露S-1申报。报告还透露，摩根士丹利、摩根大通公司和美国银行已经签约负责IPO承销。 Cloudera正在冲击41亿美元的估值，有趣的是这和它在2014年5月从英特尔公司和其他公司募集9亿美元资金时的估值相同。 Cloudera成立于2009年，将自己称为“商业Hadoop公司”，因为该公司开发和销售Hadoop，这是一种支持在分布式计算环境中处理和存储极大数据集的开放源代码编程框架。该公司的技术平台协助企业处理大量生成的数据，协助他们组织并分析它们，提供做出实时、明智的业务决策的能力。 Cloudera的上市决定出现在一个有趣的时间点上，在一个“小阳春”之后，科技股开始浮动，若非如此，今年将是平淡的一年。今年同样开局平平，迄今为止唯...

2017-07-03

533

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。