【Spark Summit EU 2016】Spark数据感知-低调大师

【Spark Summit EU 2016】Spark数据感知

2017-02-13 640 89

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Zoltan Zvara在Spark Summit EU 2016上的演讲，聚合了物联网、社交网络和电信数据的应用在“玩具”数据集上运行的非常好，但是将应用部署到真实的数据集上时就没有看上去那么合适了，事实上可能变得令人惊讶的缓慢甚至会崩溃，这就是所谓的数据倾斜（data-skew），为了应对这一问题，Zoltan Zvara与他的团队致力于实现基于Spark的数据感知分布式数据处理框架。本讲义就介绍了这个基于Spark的数据感知分布式数据处理框架的技术细节。

微信关注我们

原文链接：https://yq.aliyun.com/articles/69555

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-02-13 00:00:00

数据新能源驱动智慧新世界：数据新能源时代来临

免费开通大数据服务：https://www.aliyun.com/product/odps 阿里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。而数据正是代表的新能源，过去的发展是基于石油和煤，未来的发展是基于新的能源，那就是数据。数据是人类第一次自己创造了能源，且数据越用越值钱。数据成为物理世界在虚拟空间的客观映射，人、事、物都在被数据化，人与人、物与物、人与物之间瞬间就会产生大量的数据，数据成为新经济的生产要素，如同工业时代的钢铁、石油。全世界范围内，数据驱动的新经济刚刚萌芽，数据对传统产业的改造升级日益深化，社会生活、商业版图、政府治理和世界格局将因数据而被重构。我国正处于工业经济和信息经济交织发展的关键阶段，加强数据的开放、流动与共享，将有助于

615

2017-02-14 00:00:00

阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造

近日，国家发改委公布大数据国家工程实验室名单，由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定，分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。前者由航天云网旗下北京航天数据股份有限公司和阿里云联合共建。后者由清华大学和北京理工大学牵头，阿里云支撑实验室研发全生命周期大数据系统软件及其开源创新平台体系。国家工程实验室承担着国家科技创新的重要任务，此次共有19个国家工程实验室获批，其中大数据领域11个，互联网+领域8个，寄托着在该领域实现世界一流创新的希望。据悉，在“工业大数据应用技术国家工程实验室”未来规划中，阿里云将负责云计算大数据基础平台，参与工业相关算法服务的建设和维护，同时支持航天科工资源整合，在工业测控技术方面开展研究及试点行业应用。航天云网公司副总经

596

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。