浙江头部城商行:每日 700 万查询、秒级响应,Apache Doris 查算分离架构破局资源冲突
在当前银行业务全面线上化、实时化的驱动下,浙江省头部城商行亟需构建一个能够同时承载海量数据加工与高并发实时查询的数据平台,以支撑精准营销、实时风控和智能决策等关键业务。 在这一数字化转型进程中,我们最终引入了 Apache Doris 作为湖仓一体架构的核心组件。Doris 凭借其卓越的查询性能、高吞吐、对标准 SQL 的完整支持以及高效的实时数据摄入能力,在多个候选方案中脱颖而出。尤其值得一提的是,其架构的灵活度及可扩展性、极大降低了运维难度和成本投入。截至目前,我们已顺利完成 200TB+ 历史数据的平滑迁移与落地,为后续的深度应用奠定了坚实基础。 然而,在实践过程中,“算”(批量数据处理)与“查”(业务实时查询)这两种负载在资源需求与业务目标上的根本性矛盾逐渐凸显,解决这一矛盾已成为当下首要目标。 核心矛盾:“算”与“查”的资源争抢 当“计算”和“查询”共用一个 Doris 集群时,资源争抢问题十分突出。例如,批量计算任务会在短时间内会占用大量 CPU、内存和 IO 资源,集群负载骤升,直接影响同时运行的业务查询的稳定性。其根本原因在于: “算”的核心是吞吐量与任务交付。数仓专注...