# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：
- Spark、RDD简介
- RDD API简介
- 打包与spark-submit
- 性能分析与调优基础
主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家
直播时间：2018.12.13（本周四）19:00 - 20:00
ppt链接：https://yq.aliyun.com/download/3142
视频链接：https://yq.aliyun.com/live/720
加入Apache Spark中国技术交流钉钉群与大牛交流经验
欢迎大家扫码加入~~
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
MaxCompute 表(Table)设计规范
表的限制项 表(Table)设计规范 表设计主要目标 表设计的影响 表设计步骤 表数据存储规范 按数据分层规范数据生命周期 按数据的变更和历史规范数据的保存 数据导入通道与表设计 分区设计与逻辑存储的对应 表和分区设计基本规则 分区设计 分区字段和普通字段的选择 分区字段定义依据 分区个数定义依据 分区数量和数据量建议 表的限制项 表(Table)设计规范 表设计主要目标 降低存储成本。 合适的表设计可以在数据分层设计上降低冗余存储，减少中间表数据量大小。同时正 确的对表数据进行生命周期管理，更能够直接降低存储的数据量以降低存储成本。 降低计算成本。 对表设计规范化，以便在后续对表数据进行查询计算过程中，可以依据这些规范优化 数据的读取，减少计算过程中的冗余读写和计算，提升计算性能的同时降低成本。 降低维护复杂度。 规范化的表分层设计能够直接体现业务的特点。如通过对数
- 下一篇
MaxCompute表设计最佳实践
MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能，因此我们先介绍下什么样的操作会产生大量小文件，从 而在做表设计的时候考虑避开此类操作。 使用MaxCompute Tunnel SDK上传数据，上传过程中，每commit一次就会产生一个文件。这时每 个文件过小(比如几K)，并且频繁上传(比如5秒上传)一次，则一小时就会产生720个小文件，一 天就会产生17280个小文件。 使用MaxCompute Tunnel SDK上传数据，create了session但是没有upload数据直接做了 commit，产生大量空目录(服务侧等同于小文件)。 使用MaxCompute Console命令行工具Tunnel命令上传时，将本地大文件切分过小，导致上传后产 生文件数过多，文件过小。 通过Da
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置，开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C，快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
微信收款码
支付宝收款码