当打造一款极速湖分析产品时,我们在想些什么
作者:王有卓,StarRocks Contributor 随着开源数据湖技术的快速发展以及湖仓一体全新架构的提出,传统数据湖在事务处理、流式计算以及数据科学场景的限制逐渐得以优化解决。 为了满足用户对数据湖探索分析的需求,StarRocks 在 2.5 版本开始发布了诸多数据湖相关的重磅特性,为用户提供更加开箱即用的极速湖分析体验。 本文为您揭秘如何利用 StarRocks 特性开启数据湖的极速分析体验,同时展示用户真实场景中的落地案例以及性能测试结果,最后对 StarRocks DLA (Data Lake Analytics)未来的产品规划做一些分享。 站在Warehouse的当下,思考Lakehouse的未来 整个大数据架构逐步经历了这么几个典型的发展阶段: Schema-on-Write 架构:通过严格的建模范式约束,来支撑 BI 场景下的查询负载,但在以存算一体为主流系统架构的历史背景下,数据量膨胀带给用户高昂维护成本,同时对异构数据缺乏维护能力。 Scheme-on-Read 架构:以 HDFS 为统一存储层,并提供基础的文件 API 来与查询层进行交互。这种架构模式虽然...




