首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/155891

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OPPO数据湖统一存储技术实践

导读 OPPO是一家智能终端制造公司,有着数亿的终端用户,每天产生了大量文本、图片、音视频等非结构化数据。在保障数据连通性、实时性以及数据安全治理要求的前提下,如何低成本、高效率地充分挖掘数据价值,成为了拥有海量数据的公司的一大难题。目前业界的流行解决方案是数据湖,本文介绍的OPPO自研的数据湖存储CBFS在很大程度上可解决目前的痛点。 ▌数据湖简述 数据湖定义:一种集中化的存储仓库,它将数据按其原始的数据格式存储,通常是二进制blob或者文件。一个数据湖通常是一个单一的数据集,包括原始数据以及转化后的数据(报表,可视化,高级分析和机器学习等) 1.数据湖存储的价值 对比传统的Hadoop架构,数据湖有以下几个优点: 高度灵活:数据的读取、写入和加工都很方便,可保存所有的原始数据 多重分析:支持包括批、流计算,交互式查询,机器学习等多种负载 低成本:存储计算资源独立扩展;采用对象存储,冷热分离,成本更低 易管理:完善的用户管理鉴权,合规和审计,数据“存管用”全程可追溯 2. OPPO数据湖整体解决方案 OPPO主要从三个维度建设数据湖:最底层的湖存储,我们采用的是CBFS,它是一种同时...

开源云原生应用管理平台 Rainbond RoadMap 规划

Rainbond 产品定位于云原生应用管理,可以接管企业所有类型的应用。目前 Rainbond 可以有效管理的应用仅包括无状态应用和简单的有状态应用。对于复杂的有状态中间件应用、云服务应用、边缘应用、任务类应用等管理能力有限。因此,在后续的版本中主要方向应该实现对各类型应用的管理能力和交付能力。 Rainbond 帮助企业解决的应用管理场景如下四类: 云原生应用研发与组装 ---〉应用模型分发 ---〉应用模型安装/升级 ---〉应用智能运维 它非常适合 2B 软件厂商和行业集成商使用,也适合中小型2C软件厂商。 我们会坚持在易用的基础上提供可扩展的基础平台能力。 5.3.X 版本规划 在已经发布的5.3.2及以前版本中,Rainbond 进一步简化集群的安装,新增了 Helm 应用安装和管理,在应用模型分发和安装升级方面做了较多的优化。在后续的小版本迭代中将有如下重点: 进一步优化集群安装流程; Helm 应用安装和管理进一步优化; 异步任务执行框架优化; 组件异步操作顺序执行,不阻碍上层业务。 异步操作执行完成后有反馈,可形成通知,可执行Webhook。 5.4.X 版本规划 基础...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册