【Spark Summit EU 2016】SparkSheet:将电子表格转化进Spark DataFrame

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,主要介绍了将在Excel电子表格制作的Spark原型转化为Spark程序的SparkSheet,其可以看做是Excel编译器,可以构建从Excel转化为Spark程序的直接通路,本讲义还介绍了SparkSheet的架构体系以及整个的编译过程。


Spark程序的原型可以使用Excel对其进实现,但是将Excel形式手动转化成为Spark程序却非常繁琐并且容易出错。构建Excel形式与Spark程序之间转化的直接路径可以利用DataFrame API实现Excel编译器。


6afb2f5e80ca99d4058b237aa47a760d966453ec

e6e63de74f21ec70b8faabec1a1dfb094576fc90

f25583bc806491c22d5c003b549aa4eb602ee284

1bebaf9b90471105fe726c30a685e1d39acc146b

b798724590ebe318b7817138df0479851bc71a52

c3ce5758685ca5bc9713543d67a017e97b5472e5

0840fc8d02549be6751691eda4f4f8fc75214836

f69793609f9272b384384c33aa83fed0cb4bc1b6

d4e694a334d230f6511efc76a2e6d11d6673e78c

42d862a4bf74b039e70c3acecb1a7dcd1c1768a2

555e78be93efe94f964290d01b63cb43ef8ab247

06365be94c9c16f26b40d4ef34e6c7b0c6159027

99f17483c6d705ddcadf5943b56a1d5e19d41665

aa6fb29d57ccf5836c7561321a3ea84677f09098

1ec7def862a4e2c33260283a75bd6b26b751d0ab

c5a175df5880e9880e6af89d2a5b830685ba7898

cbb601e4d514336ba47fbe7b6eb08c6bb777a9ee

a9ed58f7f60d5524edf275a1e255b0abea58430b

254d1dec01427a82d75f34394bfb940d39113174

be586626b71576d34c9db121707c3ec146e2682a

8642647e4bdbcb648edd808915c9525b4baef49e

32ad346bf98a78799706332ce54b11f5bccd28dd

49f9b7cd6a31ec7bd713dff069b9eb108f7a9d8a

11c10ef6877ef1fb999c7858f301d7f2364576fb

e0dd214a8be33179a9c4a7f1c99bac838defdbf4

8b4333e402a6e3ef185c328c903e1214e22739a0

9bd3b029c2f1a7d03c8cf2ddfcaaca6e3abdc593

539f5d09746a881d8b42336d77fd6d122f22219d

4af43efb6f13dc6d86a1ba4fcdbe23f977120ce5

c0115c6f6f2bbfe7cb17120c6375fad73fa259c6

db07d7ae58d57fb4fdadf143ef32a199d34b0f9a

723e4c63d38baa8469f05fb9565f88e75347d79e

77bf85da4ee27b26fa5eacd113992ce960565c0f

0e96d37aff40f89f28c700ac3e2dfcc3b395a5cd

7d35573e9172207e5ea5507c096c5106a0d39aa8

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/69543

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。