EMR Spark Runtime Filter性能优化 | 7月5号云栖夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过!
阿里专家原创好文
1.EMR Spark Runtime Filter性能优化
Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。阅读更多》》
2.JVM-SANDBOX:从阿里精准测试走出的开源贡献奖
稳定性是历年双11的技术质量保障核心。从 2016 年开始淘宝技术质量部潜心修行,创新地研发了一套实时无侵入的字节码增强框架,于是「JVM-SANDBOX」诞生了,并且顺手在 MTSC 大会上拿了开源贡献奖,今天,我们来瞅瞅这个拿奖的项目。阅读更多》》
3.分布式服务架构下的混沌工程实践
本文希望阐述清楚LVS的各种转发模式,以及他们的工作流程和优缺点,同时从网络包的流转原理上解释清楚优缺点的来由,并结合阿里云的slb来说明优缺点。阅读更多》》
4.云原生应用 Kubernetes 监控与弹性实践
一篇干货好文,值得一读!阅读更多》》
5.MaxCompute 项目子账号做权限管理
一个企业使用多款阿里云产品,MaxCompute是其中一个产品,用的是同个主账号,主账号不是由使用MaxCompute的大数据同学管理, 大数据同学使用的是子账号。大数据同学日常需要给MaxCompute项目 操作新增子账号(add user),新的子账号授权(grant xx on project/table)等操作,即日常权限管理。阅读更多》》
视频课程及PPT下载
1.DTCC 2019第十届中国数据库技术大会--《NoSQL数据库最新技术发展趋势》
议题简介:企业 IT 系统面临层出不穷的新业务,安全,成本等诸多挑战。阿里云 NoSQL 数据库通过与企业业务深度结合,快速创新,提供最新的技术帮助企业用户迎接挑战,获得金融、社交、直播等众多大客户的信任。本次演讲重点介绍阿里云 NoSQL 数据库在全球分布式,多模,弹性,HTAP,cloudNative,图,时序,时空等众多最新领域的创新和技术实践。
视频地址:https://yq.aliyun.com/live/1049
2.DTCC 2019第十届中国数据库技术大会--《探索互联数据的奥秘——图数据库GDB》
议题简介:阿里图数据库 GDB 是一种支持属性图模型、用于处理高度连接数据查询与存储的实时、可靠、可扩展的在线数据库服务。基于图数据库 GDB,可以帮助用户快速构建基于高度连接的数据集的应用程序,高效地构建社交网络、推荐引擎、欺诈检测、知识图谱等应用。
视频地址:https://yq.aliyun.com/live/1050
3.DTCC 2019第十届中国数据库技术大会--《云时代数据库迁移 & 容灾技术新进展与应用》
议题简介:关于数据库灾备,你想知道的都在这里!迁移 & 容灾是数据库的强需求,传统的迁移 & 容灾技术已经发展多年,随着云时代的来临,在迁移 & 容灾的使用场景、网络、技术都有很大的变化,如何在云时代下更简单的实现数据库的迁移 & 容灾,云厂商如何通过新的技术实现弯道超车,本次 topic 主要分享阿里云在此领域的技术新进展和应用。
视频地址:https://yq.aliyun.com/live/1048
热门话题
1.谷歌Chrome内置广告拦截器将于7月9日在全球发布,你的站点广告能过关吗?(有奖话题)
- 对于此次功能更新,你有什么看法?
2.小程序的发展越来越快,你还在观望吗?一起来聊聊你眼中的小程序吧!(有奖话题)
- 你眼中的小程序
- 你对小程序有什么期待?
往期精彩回顾
如何带领团队“攻城略地”?优秀的架构师这样做 | 7月4号云栖夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
使用Spark Streaming SQL基于时间窗口进行数据统计
1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间,或者业务系统中记录了用户操作时间,用于统计各种操作处理的频率等,或者根据规则匹配,进行异常行为检测或监控系统告警。这样的时间数据都会包含在事件数据中,需要提取时间字段并根据一定的时间范围进行统计或者规则匹配等。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理,同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例,介绍如何使用Spark Streaming SQL对事件时间进行操作。 2.时间窗语法说明 Spark Streaming SQ
- 下一篇
【译】数据湖正在成为新的数据仓库
原文链接 https://www.infoworld.com/article/3405443/the-data-lake-is-becoming-the-new-data-warehouse.html?upd=1561666042410 像公有云数据湖和 Delta Lake 这样的平台指出了一个中央数据枢纽的趋势,用来支持决策和AI驱动的自动化决策。 数据仓库是否再次加入这股浪潮呢,或者会逐渐消亡? 如果你不清楚这个问题的答案也很正常。数据仓库在一方面目前仍处于热门阶段。笔者作为一个长期的行业观察者,看到了在不断创新和创业活动浪潮下行业的快速发展。 这种趋势基本上始于十年前标准设备进入数据仓库主流,然后随着市场向新一代云数仓转移逐渐获得了新动力。在过去几年中,一个云数仓供应商(Snowflake) 在市场上获得了非常多的支持。 数据仓库的
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果