数栈技术大牛分享:云原生大数据系统架构的实践和思考
ArchSummit2021年全球架构师峰会于4月25日-26日在上海举办,袋鼠云运维开发技术专家沙章利(花名:浣熊)应邀出席此次峰会,并在4月26日下午的《弹性架构实践》专题会场上为大家带来《弹性云原生大数据系统架构实践》的演讲。本次演讲主要介绍袋鼠云基于数栈、结合数年大数据基础设施建设经验,打造云环境下的大数据基础设施的实践和案例,部分架构细节首次对外公布,以下内容整理自本次架构峰会。 大家好,我是来自袋鼠云的浣熊,感谢这次会议的讲师们给我们带来了云原生技术应用的分享,感觉又打开了几个新脉门,解锁了新的武魂。在接下来的分享中,希望大家跟着我们的实践案例做一些探索性的思考。 首先我们快速回顾下大数据技术的发展,然后重点给大家分享我们最近几年做的一些系统云化架构,最后再做个回归总结,希望能给大家带去有价值的思考。 大数据技术的发展 大数据技术的发展史也是大数据架构的发展史。 云原生大数据技术是否是新一代大数据处理技术? 1964年,IBM发布了System360,这是计算机发展史上的里程碑事件,System360上配备的磁盘驱动器(DASD)加速了数据库管理系统(DBMS)和关系型数据...