【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍
7月26日,阿里云飞天大数据平台在阿里云峰会上海站正式亮相。
飞天大数据平台是当前国内规模最大的计算平台。数据显示,目前飞天大数据平台可扩展至10万台计算集群,曾创下四项海量数据排序世界纪录。在阿里巴巴经济体中支撑了全局数据存储和计算,单日数据处理量从2015年100PB、2016年180PB、2017年320PB,到2018年超过600PB,仅用三年时间提升5倍。
2019大数据技术公开课第三季将为大家带来飞天大数据平台系列产品的最新特性介绍,扫描海报下方任一二维码进群,即可观看直播。
阿里巴巴大数据产品最新特性介绍—MaxCompute 8月13日 19:00-19:40
直播回看 >>>
阅读文字版 >>>
资料下载 >>>
产品官网 >>>
阿里巴巴大数据产品最新特
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Giraph 源码分析(五)—— 加载数据+同步总结
作者|白松 关于Giraph 共有九个章节,本文第五个章节。 环境:在单机上(机器名:giraphx)启动了2个workers。 输入:SSSP文件夹,里面有1.txt和2.txt两个文件。 1、在Worker向Master汇报健康状况后,就开始等待Master创建InputSplit。 方法:每个Worker通过检某个Znode节点是否存在,同时在此Znode上设置Watcher。若不存在,就通过BSPEvent的waitForever()方法释放当前线程的锁,陷入等待状态。一直等到master创建该znode。此步骤位于BSPServiceWorker类中的startSuperStep方法中,等待代码如下: 2、Master调用createInputSplits()方法创建InputSplit。 在generateInputSplits()方法中,根据用户设定的VertexInputFormat获得InputSplits。代码如下: 其中minSplitCountHint为创建split的最小数目,其值如下: minSplitCountHint = Workers数目 * NUM_...
- 下一篇
EMR Spark Relational Cache 利用数据预组织加速查询
Relational Cache相关文章链接: 使用Relational Cache加速EMR Spark数据分析使用EMR Spark Relational Cache跨集群同步数据EMR Spark Relational Cache的执行计划重写EMR Spark Relational Cache如何支持雪花模型中的关联匹配 背景 在利用Relational Cache进行查询优化时,我们需要通过预计算,存储大量数据。而在查询时,我们真正需要读取的数据量也许并不大。为了能让查询实现秒级响应,这就涉及到优化从大量数据中快速定位所需数据的场景。本文介绍在EMR Spark Relational Cache中,我们如何针对这种场景进行了优化。 存储格式 在数据存储格式上,我们默认选择Spark社区支持最好的Parquet格式。Parquet是
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能