火山引擎云原生大数据在金融行业的实践
大数据 架构向云原生演进是行业的 重要 趋势, 火山引擎 协助关键金融客户在大数据 云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。 作者|张云尧-火山引擎云原生计算研发工程师 ▌金融行业大数据需求 云原生相比 Hadoop 的优势 传统 大数据 集群 通常 基于 Hadoop 系统构建, 传统大数据作业通常是以裸进程的形式运行在节点上,很容易受到节点上的其他进程或其他因素干扰,因此带来的 作业稳定性 问题 经 常困扰用户。 一个实际的例子 , 如果 一个 Flink 作业发生了延迟,找不到业务上的原因 ,但是 观测到 节点的 CPU 使用率比较高。用户通常选择杀掉节点上的其他作业,使机器负载下降,这时作业很有可能恢复了正常。但是,最终也没有定位到延迟的具体原因,一段时间后很可能会再次出现相同的问题,而且每次杀掉其他作业的处理方式非常繁琐,并且代价 比较高 。 那么,在 大数据 场景下, 云原生 系统 相比 Hadoop 系统,具备以下能力: 强制的容器化能力 : 可以屏蔽 大数据 作业的运行环境,提高运行时 隔离 能力; 可定制化的网络/...





