基于HybridDB for MySQL的企业ODS方案-低调大师

基于HybridDB for MySQL的企业ODS方案

2017-07-17 600

随着DT时代的到来，数据的价值日益凸显。企业积累的数据越来越多，数据库的规模也达到成百上千个实例，数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例，利用尽可能短的时间窗口进行挖掘分析，成为各个企业IT管理中的核心问题。

当前方案，在线处理和离线分离，系统架构详见下图
常见业务场景
1、为了满足分析需要，ETL策略为ELT（Extraction-Loading-Transformation），将全量数据同步到大数据平台中（MaxCompute、EMR、或自建Hadoop）中进行离线运算，定期完成数据整合后供如决策支持类分析型应用使用。 2、自建或者云上的大数据平台拉取生产数据： a）不允许入侵到生产库，以免引起生产库的性能波动。 b）生产数据库申请只读实例，并设定相关权限。 c）大数据平台可通过同步工具（DTS

微信关注我们

原文链接：https://yq.aliyun.com/articles/130335

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云和恩墨zData多租户整合，青海移动数据库云化起航

『截止到2017年，将会有超过80%的企业会采纳混合云模式部署，大幅推动组织变革和业务创新』,这是来自IDC 2016年对于云领域未来的预测。 2017来了，而且毋庸置疑，世界正以势不可挡的趋势朝着全球市场一体化、企业生存数字化、商业竞争国际化的方向发展，云和大数据已经成为这一切的核心发动机，如何有效应对云和大数据的浪潮，以更好的姿态拥抱变化，成为各行业迫切面临的问题。 IT全面云化，青海移动一直走在前端青海移动一向重视IT的发展和运营，在通信向云化转型的浪潮之上，快速定位自己在行业的未来发展方向，并果断采取措施向着云化迈进。青海移动业务发展迅速，尤其是近几年的电渠业务，目前有包括网上营业厅、手机营业厅等在内的多类电渠业务，这些业务最初是独立运营的，但数据量的剧增和用户需求的提高使得独立运营面临很多问题，复杂的系统和传统的SAN架构缺乏对性能及大数据数据处理的灵活性，同时运维和部署的成本非常高。因此青海移动领导人希望采用资源池和云化部署，将这些电渠业务融合到统一的电子渠道支撑平台，实现统一的认证登录、统一业务管理、统一地分析接口和运营支撑。自2015年开始，青海移动逐步将运行...

2017-07-18

702

全面解读Oracle 12.2体系架构图系列课程，精彩继续。本期的内容由两部分组成，一是数据库实例与文件系统的访问；二是多租户解决方案。文中将会简单列举视频要点，详细内容请点击原文链接下载视频。数据库实例与文件系统几个重要的进程和内存组件 RVWR：Recovery Writer Process，当数据库设置了闪回区域的时候，该进程定期将内存中，具体来讲是shared pool中的flashback buffer里面的闪回数据写入flashback logs. Result cache --> RCBG:result cache 用于存放SQL语句或者plsql函数在执行过程中，对于原始数据进行运算所得的结果，当数据库再次对相同的对象做同样的操作，可直接获取结果，避免计算资源的浪费。 ASH buffer-->MMNL:ASH buffer用于存放活动会话的统计信息，包括SQL的执行情况，应用连接情况，等待事件等。当ASH buffer 被写满的时候，MMNL进程负责将buffer中的数据写入到磁盘中。 In memory undo（IMU）：在共享池中开辟一块区域，存...

2017-07-18

625

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。