生态篇-HBase 生态介绍
HBase 生态介绍
我们都知道,HBase是受Google公布的BigTable论文而产生的一种分布式、多版本、面向列的开源 KV 数据库。HBase稀疏矩阵的设计使得其特别适合存储非结构化的数据,比如用户画像、日志以及消息等数据。但是随着业务的快速发展,我们面临着各种新挑战和新需求,数据格式也随着业务的发展变得多种多样,其中包括:KV 数据、关系数据、文档数据、图数据以及时空时序等数据。而且随着时间的推移,各种数据占比越来越大,如下图所示:
从上图可以看出,从2013年开始,关系型数据的总体占比在逐年下降;而图数据、搜索数据、KV 数据、文档数据以及时序数据等却在逐年上升。到2018年, 关系型数据的占比已经由2013年的90%多下降到 2018年的75.4%。
面对如此多样的数据,我们急需一种系统,能够存储这些逐年增长的数据。所以
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
主讲人:黄凯——Intel大数据技术团队软件工程师。卫雨青——Microsoft C+AI 团队软件工程师。 简介:Analytics Zoo (https://github.com/intel-analytics/analytics-zoo) 是Intel基于Apache Spark以及BigDL的开源分布式深度学习框架,它为Spark提供了深入学习功能的原生支持,并且具有高效的水平扩展能力。Analytics Zoo能让用户将已有的大数据集群作为数据存储、处理和挖掘、特征工程、深度学习工作负载流水线的统一数据分析平台。微软Azure的智能客服平台,是一个基于和客户在线的文字对话,搜索预先训练计算的模型、索引,并计算权重,实时解决和反馈客户技术问题的智能交互式问答系统,它极大地减少了客户主动寻求转人工帮助机会。在文本分类和问答排序
- 下一篇
HBase 在新能源汽车监控系统中的应用
重庆博尼施科技有限公司是一家商用车全周期方案服务商,利用车联网、云计算、 移动互联网技术,在物流领域 为商用车的生产、销售、使用、售后、回收各个 环节提供一站式解决方案,其中的新能源车辆监控系统就是由该公司提供的。该 系统主要用于东风轻卡等新能源商用车监控服务,目前该系统正在阿里云线上稳定运行。 新能源车辆监控系统是一个车辆网服务平台,具有高并发、数据量大、实时性要 求高等特点。对车辆监控系统来说最重要的问题就是如何处理车辆产生的海量数 据,我们估计,当车辆数量增长到 10 万时,每天会产生大约 2TB 的数据,这些 数据不仅需要存储,还需要做到实时可查。本文将介绍项目的背景和系统的基本 架构,随后介绍我们在开发过程中遇到的各种问题以及解决方案。 1.项目背景 本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备 会定时采集车辆的各种状态信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需要将数据进行解析,校验,随后会将该消息转发 到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文 数据存储到系统中。车辆的数据和其他数据需要通...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程