【Spark Summit EU 2016】Spark数据感知-低调大师

【Spark Summit EU 2016】Spark数据感知

2017-02-13 674

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Zoltan Zvara在Spark Summit EU 2016上的演讲，聚合了物联网、社交网络和电信数据的应用在“玩具”数据集上运行的非常好，但是将应用部署到真实的数据集上时就没有看上去那么合适了，事实上可能变得令人惊讶的缓慢甚至会崩溃，这就是所谓的数据倾斜（data-skew），为了应对这一问题，Zoltan Zvara与他的团队致力于实现基于Spark的数据感知分布式数据处理框架。本讲义就介绍了这个基于Spark的数据感知分布式数据处理框架的技术细节。

微信关注我们

原文链接：https://yq.aliyun.com/articles/69555

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据新能源驱动智慧新世界：数据新能源时代来临

免费开通大数据服务：https://www.aliyun.com/product/odps 阿里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。而数据正是代表的新能源，过去的发展是基于石油和煤，未来的发展是基于新的能源，那就是数据。数据是人类第一次自己创造了能源，且数据越用越值钱。数据成为物理世界在虚拟空间的客观映射，人、事、物都在被数据化，人与人、物与物、人与物之间瞬间就会产生大量的数据，数据成为新经济的生产要素，如同工业时代的钢铁、石油。全世界范围内，数据驱动的新经济刚刚萌芽，数据对传统产业的改造升级日益深化，社会生活、商业版图、政府治理和世界格局将因数据而被重构。我国正处于工业经济和信息经济交织发展的关键阶段，加强数据的开放、流动与共享，将有助于

2017-02-13

651

近日，国家发改委公布大数据国家工程实验室名单，由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定，分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建。后者由清华大学和北京理工大学牵头，阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系。国家工程实验室承担着国家科技创新的重要任务，此次共有19个国家工程实验室获批，其中大数据领域11个，互联网+领域8个，寄托着在该领域实现世界一流创新的希望。据悉，在“工业大数据应用技术国家工程实验室”未来规划中，阿里云将负责云计算大数据基础平台，参与工业相关算法服务的建设和维护，同时支持航天科工资源整合，在工业测控技术方面开展研究及试点行业应用。航天云网公司副总经

2017-02-14

643

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。