首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/gupaoedutom/blog/5348558

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

QCon-OPPO数据平台Cloud Lake 降本增效实践

1 背景 OPPO从19年开始,用了两年时间,以K8S,容器化为核心,完成了公司混合云建设,并实现100%在线业务上云。OPPO的业务,目前覆盖国内,南亚,欧洲,美洲,在国内我们有自己的机房,在海外,更多是和公有云合作,有AWS,Google。OPPO的云是朵云上云,与共有云的合作,更多只是采购机器资源,部署我们自己的服务。OPPO云给我司带来了数亿的降本红利,得到了公司的广泛认可。 图1OPPO混合云 目前OPPO的数据平台规模,计算资源近万台,存储接近1个EB,离线任务数近百万,实时任务数千。统计我们过去几年的增速,平均下来,每年大概有30%的规模增长。如此的一个规模增长下,系统SLA三个9,任务100%准点,是我们必须要保障的,同时,公司希望数据平台能够把过往快速增长的成本降下来。所以,业务快速增长、系统SLA和任务准点率保持高水平的前提下,如何进一步降本增效是我们必须要解决的问题。 图2OPPO数据平台业务规模 对于这样一个问题,我们的解法是进行一系列的技术升级,主要包括批流一体、云数融合调度、数据湖存储三个方面。 2 批流一体 图3批流一体架构 如上图,上半部分,典型的Lam...

大规模 K8s 集群管理经验分享 · 中篇

🔥【高手问答第 271 期 -- 聊聊大规模 K8s 集群管理】之经验分享·上篇获得了同学们的广泛关注,在技术同学的努力下,经验分享·中篇也来和大家见面啦!一起来看看吧~ Q1:如何合理优化每一个容器的大小和资源利用,提高性价比? A1:监控,监控,还是监控,不断去审视容器的资源分配量跟实际使用量,看看配置的是否合理。 Q2:用 kubeadm 装集群会给后期运维增加困难吗?我记得前两年官方不建议在生产环境用 kubeadm 装,但是现在文档中已经写了生产也可以用 kubeadm,这能不能理解成已经成熟了? A2:我们在最开始做 K8s 的时候也是“kubeadm 不建议”的年代,因为我们是自己写了一套部署工具,这个工具后面也会开源出来,可以关注一下 Erda 项目, 开源后我们会把代码放进去。 题外话,不管使用什么工具,可能都需要对工具具体做了什么有一个比较深入的了解,这样后面遇到问题也就有思路去解决了👌。 Erda 开源地址: https://github.com/erda-project/erda Q3:如何看待中间件比如 mysql / redis / mq / kafka...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册