《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季
在这特殊的日子里,MaxCompute开发者社区始终与大数据开发者们一起,我们化禁足为学习,化长体重为长知识,一起来吧,亲爱的们!
2020年的第一季公开课,聚焦开源与云原生的大数据技术与产品,通过比较和实操,帮助开发者们更好的理解和掌握大数据技术。
【直播主题】MaxCompute Spark与Spark SQL对比分析及使用注意事项
【直播时间】2020年2月17日
【分享嘉宾】吴雷(沐行) 阿里云智能 高级售后技术工程师
【直播简介】本次直播主要介绍Spark on MaxCompute和开源Spark上的区别,讲解加实战演示 Spark on MaxCompute如何使用。
【直播主题】MaxCompute SQL 与 Hive对比分析及使用注意事项
【直播时间】2020年2月18日
【分享嘉宾】刘建伟 阿里云智能 技术支持工程师
【直播简

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
同地域跨可用区容灾实践
场景描述 面向阿里云公共云客户,业务在同一个地域(Region),希望在不大幅增加成本的情况下,获得支持业务的跨可用区(Zone)容灾能力,重点是对整体应用做容灾备份(简称容灾)。利用阿里云提供的基础产品,在增加少量成本的情况下,实现同城容灾的能力。 解决问题 通过公网访问SLB,SLB在多可用区进行部署 SLB绑定跨可用区的ECS服务器集群,部署电商网站应用 电商应用系统数据访问RDS的跨可用区实例此架构用到的所有服务都采用跨可用区部署,保障服务的高可用性 产品列表 虚拟专用网 VPC 弹性计算服务 ECS 弹性负载均衡 SLB 数据库 RDS 直达最佳实践 》》
- 下一篇
从开发到生产上线,如何确定集群规划大小?
翻译|毛家琦 校对|秦江杰 在 Flink 社区中,最常被问到的问题之一是:在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”,但这并非一个有用的答案。本文概述了一系列的相关问题,通过回答这些问题,或许你能得出一些数字作为指导和参考。 计算并建立一个基线 第一步是仔细考虑应用程序的运维指标,以达到所需资源的基线。 需要考虑的关键指标是: 每秒记录数和每条记录的大小 已有的不同键(key)的数量和每个键对应的状态大小 状态更新的次数和状态后端的访问模式 最后,一个更实际的问题是与客户之间围绕停机时间、延迟和最大吞吐量的服务级别协议(sla),因为这些直接影响容量规划。 接下来,根据预算,看看有什么可用的资源。例如: 网络容量,同时把使用网络的外部服务也纳入考虑,如 Kafka、HDFS 等。 磁盘带宽,如果您依赖于基于磁盘的状态后端,如 RocksDB(并考虑其他磁盘使用,如 Kafka 或 HDFS) 可用的机器数量、CPU 和内存 基于所有这些因素,现在可以为正常运行构建一个基线,外加一个资源缓冲量用于恢复追赶或处理负载尖峰。建议您在建立基线时也考虑...
相关文章
文章评论
共有0条评论来说两句吧...