【Spark Summit EU 2016】Spark数据感知-低调大师

【Spark Summit EU 2016】Spark数据感知

2017-02-13 657

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Zoltan Zvara在Spark Summit EU 2016上的演讲，聚合了物联网、社交网络和电信数据的应用在“玩具”数据集上运行的非常好，但是将应用部署到真实的数据集上时就没有看上去那么合适了，事实上可能变得令人惊讶的缓慢甚至会崩溃，这就是所谓的数据倾斜（data-skew），为了应对这一问题，Zoltan Zvara与他的团队致力于实现基于Spark的数据感知分布式数据处理框架。本讲义就介绍了这个基于Spark的数据感知分布式数据处理框架的技术细节。

微信关注我们

原文链接：https://yq.aliyun.com/articles/69555

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据新能源驱动智慧新世界：数据新能源时代来临

免费开通大数据服务：https://www.aliyun.com/product/odps 阿里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。而数据正是代表的新能源，过去的发展是基于石油和煤，未来的发展是基于新的能源，那就是数据。数据是人类第一次自己创造了能源，且数据越用越值钱。数据成为物理世界在虚拟空间的客观映射，人、事、物都在被数据化，人与人、物与物、人与物之间瞬间就会产生大量的数据，数据成为新经济的生产要素，如同工业时代的钢铁、石油。全世界范围内，数据驱动的新经济刚刚萌芽，数据对传统产业的改造升级日益深化，社会生活、商业版图、政府治理和世界格局将因数据而被重构。我国正处于工业经济和信息经济交织发展的关键阶段，加强数据的开放、流动与共享，将有助于

2017-02-13

634

近日，国家发改委公布大数据国家工程实验室名单，由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定，分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建。后者由清华大学和北京理工大学牵头，阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系。国家工程实验室承担着国家科技创新的重要任务，此次共有19个国家工程实验室获批，其中大数据领域11个，互联网+领域8个，寄托着在该领域实现世界一流创新的希望。据悉，在“工业大数据应用技术国家工程实验室”未来规划中，阿里云将负责云计算大数据基础平台，参与工业相关算法服务的建设和维护，同时支持航天科工资源整合，在工业测控技术方面开展研究及试点行业应用。航天云网公司副总经

2017-02-14

618

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。