HybridDB for MySQL计算规格全面加速OLAP场景
前言
在2018年双十一中,阿里云数据库HybridDB为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。 盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。 HybridDB 承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,以及支撑了四大件产品双十一实时监控大屏。为阿里云双十一保驾护航。
经过双十一的洗礼后,HybridDB for MySQL最新推出OLAP增强的高性能计算规格,通过自研的列式存储引擎CStore全面加速分析场景。主打毫秒级实时数据更新+百亿大表任意维度毫秒级分析,在完备的SQL能力上,同时支持在SQL中的多值子列查询、全文检索、空间检索等功能特性。既支持通过数据同步工具实时写入数据也支持直接和离线数仓ODPS的快速数据TB每小时的高速导入导出,覆盖实时BI报表、离线数据在线服务、日志类分析查询等各类场景。
一. 功能特性
1) 极速查询
毫秒级的极速查询能力是HybridDB计算规格的核心竞争力:
- 支持百亿大表的聚合、连接等复杂查询,任意维度组合,毫秒级延时
- 支持通用的OLAP模型,比如星型、雪花等模型;支持事实表、维度表
- 数据按照列存储,支持列级智能索引。列级索引可以任意组合, 最多支持数千个查询条件
- 强大的聚集索引能力,用户可以按照业务特性对数据做排序,查询性能最高可提升一个量级以上
2)SQL兼容性
HybridDB计算规格在查询上面有着出色的SQL兼容能力:
- 支持MySQL全部的查询语法(涵盖各类操作符、函数、复杂查询嵌套等)
- 支持大数据通用的TPC-H、TPC-DS标准benchmark
- 支持Oracle常用的开窗语法和函数、集合操作、层次查询等
3)实时写入
HybridDB计算规格支持高性能实时写入:
- 支持insert into/replace into实时写入
- 数据写入后毫秒级可查询
- 支持主键索引去重,可以快速replace into覆盖更新
- 支持Update和Delete单表任意条件的数据更新
- 性能:单节点
2-5w tps
或者30-50M/s
, 可线性扩展到数百万tps
4)批量导入
HybridDB计算规格有着独具特色的高性能批量导入能力:
- 批量导入性能最高可达
1TB/小时
,百亿数据最快分钟级导入完成- 支持MaxCompute(ODPS)、OSS、RDS(MySQL)等的快速批量导入导出
- 新老数据一键切换功能:数据导入时不影响查询,导入完成后一键切换新数据上线服务。
- 数据导出的也有着导入一样的性能
5)BI生态兼容
HybridDB计算规格兼容MySQL协议,支持主流的BI工具:
- 阿里云上支持DMS、QuickBI等BI工具,支持DTS全量和增量数据迁移
- 阿里集团内支持IDB、孔明灯、夸克可视化工具,支持精卫、DTS数据同步
- 支持各种商业BI工具:Tableau、Navicate、MySQL workbench等
6) 系统稳定性
HybridDB计算规格在稳定性了做了大量的细致工作:
- 用户实例资源单独隔离,无共享资源依赖,保证了用户之间不会出现资源争抢和排队
- 存储和计算资源隔离,可以保证导入基本不影响查询
- 查询模式自动识别,快速查询和复杂查询隔离,避免了单个复杂查询影响整个实例。
7)数据可靠性
HybridDB计算规格从两个个方面保证数据可靠性:
- 数据默认三副本存储,工业安全
- 支持全量和增量备份到OSS
8)特色功能
HybridDB计算规格做为OLAP增量版本,支持如下特色功能:
- 多值子列:支持单列多个值的存储、过滤、分组,可以做到亿级数据毫秒级的多值列检索
- 全文检索:支持全文检索列,可以定义分词器,支持毫秒级的检索能力
- 空间检索:支持空间索引,支持点、圈型、多边形的检索和查询,百亿数据可以做到毫秒级别的检索能力
二、覆盖场景&解决方案
HybridDB的计算规格支持高并发在线分析、复杂交互式分析、实时混合数据仓库等多种场景:
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
异构(兼容dubbo)SOA系统架构(.net)优化升级
原文: 异构(兼容dubbo)SOA系统架构(.net)优化升级 前面一片文章已经提到我司的异构(兼容dubbo)SOA系统架构,解决了不少技术痛点,也还算比较完善,也顺利推广开来。 但作为项目的开发者,自己产品的问题心里是清楚的,离自己满意还是有不小的距离。 在推广的同时,我紧张的进入了下一个版本的开发,让它更加完善。 原来的版本号是1.0,现在版本升级为1.1且已经开发完成并发布(内部),本次升级主要内容如下: 1、修正了一些bug 2、简化了SOA使用 强化IOC的作用,解耦对象关联性 使用公司内部Nuget管理SOA及相关依赖 简化方法调用及方法参数(尽量只保留必须的参数) 3、性能提升、cpu和线程资源占用适当下降 高效异步线程,减少应用程序启动时间 高效对象复用节省内存和cpu消耗 4、稳定性提升 增加故障转移(出错的节点将会在负载均衡列表中移除,避免服务异常zookeeper未及时通知导致的大量报错) 优化zookeeper连接状态检测和维护(连接中断及时重新连接) 增加服务端优雅下线机制 5、强化配置 增加了很多可选配置满足业务和性能需要 可以对单个服务单独个性化配置 ...
- 下一篇
暴力法求解“微信群覆盖”?
题目:求微信群覆盖 微信有很多群,现进行如下抽象: (1) 每个微信群由一个唯一的gid标识; (2) 微信群内每个用户由一个唯一的uid标识; (3) 一个用户可以加入多个群; (4) 群可以抽象成一个由不重复uid组成的集合,例如: g1{u1, u2, u3} g2{u1, u4, u5} 可以看到,用户u1加入了g1与g2两个群。 画外音,注意: gid和uid都是uint64; 集合内没有重复元素; 假设微信有M个群(M为亿级别),每个群内平均有N个用户(N为十级别). 现在要进行如下操作: (1)如果两个微信群中有相同的用户,则将两个微信群合并,并生成一个新微信群; 例如,上面的g1和g2就会合并成新的群: g3{u1, u2, u3, u4, u5}; 画外音:集合g1中包含u1,集合g2中包含u1,合并后的微信群g3也只包含一个u1。 (2) 不断的进行上述操作,直到剩下所有的微信群都不含相同的用户为止; 将上述操作称:求群的覆盖。 设计算法,求群的覆盖,并说明算法时间与空间复杂度。 画外音:58同城2013年校招笔试题。 对于一个复杂的问题,思路肯定是“先解决,再优化...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果