打造运营商实时分析平台——浩鲸科技 ByConity 应用实践
浩鲸科技 2003 年创建,为运营商提供高质量信息服务,在全球有多个研发中心。浩鲸科技正在进行业务全球化的布局,目前海外市场占比已接近 50%。国外运营商的用户规模小,用户业务量不高,运营商主机数量少。由于业务特点,其对独立小型部署需求较多。ByConity 给浩鲸科技提供了对应产品能力,帮助其解决了产品痛点,更好地满足了客户需求。本文将介绍浩鲸科技在电信运营商场景下使用 ByConity 进行实时数据分析的实践经验。 01 运营商的实时数据分析挑战 浩鲸科技以往一直深度使用大数据 Hadoop 技术,它基于离线方式发展而来,尽管现在也有实时组件 Flink 的支持,但在运营商场景中仍会遇到一些瓶颈。查询与分析场景复杂多变的情况,在运营实施过程中存在因大数据量、业务复杂度高,导致较多的处理性能问题。 实时分析能力难:较难支持对实时数据的分析,因为它无法对实时数据进行增量聚合计算。不能够支持实时数据的增量聚合计算,不支持实时数据的分析。 查询分析性能慢:数据分析在相同硬件条件下,相对于新型 MPP 数据库要有 5-10 倍的性能劣势,其中当数据分布倾斜时,会导致整体性能的大幅下降;数据...