# Apache Spark系列技术直播# 第七讲 【 大数据列式存储之 Parquet/ORC 】
主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家
简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
ppt链接：https://yq.aliyun.com/download/3234
视频链接：https://yq.aliyun.com/live/785
加入Apache Spark中国技术交流钉钉群与大牛交流经验
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
日志上云利器 - Aliyun LOG Java Producer
背景 日志无处不在，它作为记录世间万物变化的载体，在运维、研发、运营、安全、BI、审计等领域有着广泛的应用场景。 阿里云日志服务是日志类数据的一站式服务平台，其核心组件 LogHub 凭借着高吞吐、低延迟、可自动伸缩等特性，逐渐成为大数据处理领域特别是实时数据处理场景下的基础设施。那些运行在 Flink、Spark、Storm 等大数据计算引擎中的任务往往会将数据处理结果或中间结果实时写入 LogHub，下游系统基于 LogHub 中的数据提供查询分析、监控告警、机器学习、迭代计算等能力。下图展示了面向 LogHub 的大数据处理系统架构图。 要让整个系统稳定地运行，提供便捷高效的数据写入手段是前提。直接使用 API 或 SDK 往往无法满足大数据场景下对数据写入能力的要求，在这样的背景下 Aliyun LOG Java Produce
- 下一篇
Spark2.4.0 SparkEnv 源码分析
Spark2.4.0 SparkEnv 源码分析 更多资源 github: https://github.com/opensourceteams/spark-scala-maven-2.4.0 时序图 前置条件 Hadoop版本: hadoop-2.9.2 Spark版本: spark-2.4.0-bin-hadoop2.7 JDK.1.8.0_191 scala2.11.12 主要内容描述 SparkEnv对象构建 SparkEnv类中做如下操作 ).new SecurityManager() ).new NettyRpcEnvFactory() ).创建NettyRpcEnv ).Utils.startServiceOnPort(启动sparkDriver) ). new BroadcastManager ).注册端点MapOutputTracker ).ShuffleManager:SortShuffleManager ).默认内存管理器：UnifiedMemoryManager ).注册端点MapOutputTracker ).SortShuffleManager ).Unif...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2整合Redis，开启缓存，提高访问速度
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- SpringBoot2初体验，简单认识spring boot2并且搭建基础工程
- Eclipse初始化配置，告别卡顿、闪退、编译时间过长
- CentOS7安装Docker，走上虚拟化容器引擎之路
- SpringBoot2整合Thymeleaf，官方推荐html解决方案
- SpringBoot2配置默认Tomcat设置，开启更多高级功能
- Springboot2将连接池hikari替换为druid，体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
微信收款码
支付宝收款码