HybridDB for MySQL 实现在线与离线数据分离的实践

2017-06-19 549

本文将重点介绍HybridDB for MySQL 实现在线与离线数据分离的实践，特别推荐！

核心业务简介

任务中心汇聚了集团的所有工作流任务，并提供统一的入口给用户处理集团的工作任务。

面临主要问题

1、单表存储量超高目前已有4千万的数据，并且在急速的增长。预计年增长在200%以上。
2、业务需要大范围的查询由于业务需要查询多张表，比如查询在线，再查离线表。而且频率和复杂度在提升。会导致慢sql的出现。

如何架构改造

在线数据与离线数据隔离，在数据访问层面不相互影响
在线数据到离线数据必须实时同步，保障高稳定性
定时清理在线表的离线数据。保证在线存储的合理使用，保证数据从产生到移除的闭环过程。
保证离线存储容量问题，离线数据不会清除，所以需要有合理的机制或充足的空间来保证离线数据的存储。
离线数据太多的情况下，要保证数据查询的效率

微信关注我们

原文链接：https://yq.aliyun.com/articles/106653

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

时间序列数据的存储和计算 - 开源时序数据库解析（二）

KairosDB KairosDB最初是从OpenTSDB 1.x版本fork出来的一个分支，目的是在OpenTSDB的代码基础上进行二次开发来满足新的功能需求。其改造之一就是支持可插拔式的存储引擎，例如支持H2可以方便本地开发和测试，而不是像OpenTSDB一样与HBase强耦合。在其最初的几个版本中，HBase也是作为其主要的存储引擎。但是在之后的存储优化中，慢慢使用Cassandra替换了HBase，它也是第一个基于Cassandra开发的时序数据库。在最新的几个版本中，已不再支持HBase，因为其存储优化使用了Cassandra所特有而HBase没有的一些特性。在整体架构上，和OpenTSDB比较类似，都是采用了一个比较成熟的数据库来作为底层存储引擎。自己的主要逻辑仅仅是在存储引擎层之上很薄的一个逻辑层，这层逻辑层的

2017-06-19

650

习主席在杭州G20峰会开幕式演讲中明确提出：“以互联网为核心的新一轮科技和产业革命蓄势待发，人工智能、虚拟现实等新技术日新月异，虚拟经济与实体经济的结合，将给人们的生产方式和生活方式带来革命性变化。” 上一轮科技和产业革命提供的经济动能面临消退，以人工智能、虚拟现实为主的新一代互联网科技增长动能正在孕育；全球互联网公司不再是自娱自乐，而是带动各个实体行业“跨界重混”，物联网、工业互联网、增强现实正在加速虚拟经济与实体经济的碰撞与融合；当互联网进入实体经济，试错成本、创新周期将明显增加，跨界创新不能急于求成，未来的成功企业同时具有互联网能力与传统产业资源，把虚拟经济做实，把实体经济做虚。目前全球正处于新一轮科技变革初期，以美国为例，2006年以金融巨头、能源巨头、IT巨头为代表的五家企业总市值为1.7万亿美元，而十年后Apple、Google、Microsoft、Amazon、Facebook占据了市值最大的TOP5位置，这五家互联网科技公司总市值高达2.3万亿美元，员工总人数却是“昔日霸主”的十分之一以下，这些科技翘楚在云计算、大数据、人工智能、VR/AR、物联网几大前沿领域大笔投入...

2017-06-20

687

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。