存算分离实践:构建轻量、云中立的大数据平台
今天我们将分享社区用户多点 DMALL 的案例。多点 DMALL 是亚洲领先的全渠道数字零售解决方案服务商,目前已与 380 家零售企业达成合作,覆盖 6 个国家和地区。 面对 B 端客户日益增长的企业数据,存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题,迫使多点启动架构升级的进程。同时,为满足 B 端客户多样化的需求,多点需要构建一个可以在多云环境下更具性价比、可复用的大数据底层基座和平台工具链。基于此,多点的大数据团队开始搭建存算分离的云原生大数据架构。 本文深入剖析这次改造的架构设计与演进过程,分享多点 DMALL 在此过程中的经验和挑战。值得一提的是,他们利用 JuiceFS 社区版实现了与 Ranger 组件进行权限的对接,希望此经验能为其他使用 JuiceFS 的企业提供参考。 一、存算一体架构下的痛点和挑战 1.1 架构原生存在的痛点 存算一体架构带来的成本和运维挑战,是大部分企业在大数据发展中一定会面对的问题。 传统的 Hadoop 生态体系中,数据存储角色与计算角色通常会部署在相同的机器上,一个占...





