时序数据库入门 | 时序数据库的特点及与传统数据库的区别详解-低调大师

时序数据库入门 | 时序数据库的特点及与传统数据库的区别详解

2024-03-06 325

在过去的几年里，物联网（IoT）的日益普及和对实时数据的需求导致时序数据库（TSDB）的采用量大幅增长。根据 DB-Engines 的排名，TSDB 的普及率超过了其他任何类型的数据库，仅次于 Graph DBMS。

作为存储、管理和分析时序数据的重要工具，对时序数据库 (TSDB) 的需求在未来也很可能会持续上升。如果你对此还不太了解，本文将全面地介绍什么是时序数据库，以及为什么需要有针对时序数据的数据库。

什么是时序数据

谈到近年来时序数据库的普及，我们不得不先聊聊时序数据，为什么它需要一种专门优化的数据库来处理？通用的关系数据库不能满足吗？

所谓时序数据，非常通俗的角度来讲，就是一些随着时间变化而变化的值 (Value），同时这些值上面附带有一些 Key=Value 组成的标签。

一般包括下列三个属性（来自 Wikipedia）：

时间线（Time series）

一个名称（通常称为指标，metric）和一系列 Key=Value 标签( Label，或者一般称之为 Tag）组成的唯一标识。

键值对（Timestamp, Value）

时间戳和值组成的键值对，并且按照时间戳自然排序，这些键值对一般称为采样（Sample）。

数值（Value）

第 2 点中的 Value 一般是数值，比如气温、湿度、CPU、内存占用等，但是也可能是任意的数据结构（结构化，非结构化都有可能）。

时序数据案例

举例来说，比如某天气网站截图的余杭 15 天的天气预报：

以最高气温和最低气温两条线来分析，这里的三个属性分别是：

时间线分别是： a. 每日最高气温 + <地区=余杭> b. 每日最低气温 + <地区=余杭>
最高气温的时间戳和 Value 组成的序列就是从 8/29 日开始到 09/06 日 15 个键值对，值是每日最高气温。最低气温类似。
这里 Value 就是气温，也就是数值，比如 8/29 最高气温是 36 摄氏度，最低气温是 25 摄氏度。

除了天气预报信息外，时序数据还广泛存在于以下领域：

股票价格：让股票分析师和交易者了解某一股票价格的趋势和走向。

健康监测：用于医学领域，以监测可能正在服用某些药物的病人的心率或其他健康数值。

工业及物联网的物理传感器：包括各类智能手机、智能汽车和智能家居等包含的各类温度、湿度、速度、加速度、方向和心率、血氧等传感器，制造业、医疗等业已大量使用的各类传感器，都在无时无刻地、按照固定或者不固定间隔产生海量的感知数据，主要用于设备和人体的日常和异常监测、基于这些海量数据挖掘的智能化应用（比如智能制造的产线优化、自动驾驶）等。

软件传感器：比如传统 DevOps 里的监控侵入式探针，云原生环境下的无侵入式探针（比如现在热火朝天的基于 eBPF 的无侵入探针方案和 Service Mesh 数据面探针），各类软件的各种指标埋点数据等，主要用途还是软件应用的日常和异常监控，保障业务服务的持续稳定运行，加上目前 AIOps 领域的发展，对于时序数据的使用规模和粒度也提出了更高要求。

时序数据的特点

数据是相对高频、稳定地产生，并且频率一般较为稳定，不随人们的昼夜活动周期而变化。传感器的种类众多，叠加上行业、地理位置的大量标签，数据和时间线的规模膨胀都极其庞大。并且这样的数据规模随着智能设备（可穿戴设备、智能汽车、智能制造）的普及以及人们对这些数据应用提出的更精细的需求而迅速增长。
数据的变更特征上是更类似 Append-Only 的方式，数据源源不断地添加上去，更新的场景较少（但是仍然有，特别是弱网环境下的数据延迟），数据的删除通常是以过期时间为周期批量地删除。
数据应用上，最常见的还是日常和异常监控，基于这些数据搭建可视化监控报表和告警系统，其次是未来趋势的预测，也就是时序预测，特别是在金融领域

为什么时序数据如此重要

尽管时序数据并不是一种新的数据类型，但在过去的几年里，它的流行程度和使用量显著增加，正如 DB-Engines 所分析的那样。有几个因素不容忽视，包括：

互联网的发展和许多行业的数字化。直接导致了海量时序数据的产生，如网站流量、社交媒体活动和传感器读数等。
机器学习算法的发展。如递归神经网络（RNN）和长短期记忆（LSTM）网络，这些算法适用于时序数据分析，便于人们从这类数据中提取有价值的信息，使得时序数据有机会进一步产生价值。
预测性分析的兴起。这使得时序数据成为预测趋势和未来结果的重要工具。
金融、医疗和交通等领域的需求。这些领域对实时决策的需求越来越大，时序数据分析能够应对这些快速变化的情况。

什么是时序数据库

时序数据库(Time Series Database）如果按照 Wikipedia 的定义就是专门面向时序数据处理优化的数据库，它是领域数据库的一种，都是为了特定业务领域的数据处理服务，比如图数据库处理图的存储和检索，文档数据库用于半结构化的文档的存储和检索，搜索引擎专门用于非结构化文本的检索等。

时序数据库的特点

为了应对上述时序数据的特点和所涉及的挑战，TSDB 采用了一些技术。其中一些典型特征包括：

Log-Structured Merge-tree（LSM-tree）

LSM-tree 是一种基于磁盘的数据结构，为写入量较大的工作负载进行了优化，通过在一系列层次中合并和压缩数据，实现了高效的数据摄取和存储。与传统的 B-tree 相比，这减少了写入放大率，提供了更好的写入性能。

基于时间的分区

时序数据库通常基于时间间隔对数据进行分区，使查询更快速、更高效，也更容易保留和管理数据。这种方法有助于将最近的、经常访问的数据与较早的、不常访问的数据区隔开来，优化了存储和查询性能。

数据压缩

时序数据库采用各种压缩技术，如 delta 编码、Gorilla 压缩或字典编码，以减少存储空间需求。这些技术利用了时序数据中的时间和基于价值的模式，实现高效存储，同时又不丢失数据的保真度。

内置基于时间的函数和聚合

时序数据库对基于时间的函数的提供了本地支持，如移动平均数、百分比和基于时间的聚合。与传统数据库相比，这些内置功能使用户能够更有效地执行复杂的时间序列分析，并减少计算开销。

为什么要选择时序数据库

从以上这些介绍来看，我们对为什么需要时序数据库这一特定领域数据库也有了初步的答案。

针对时序数据的特征、规模和应用，时序数据库可以做出针对性的专门优化：存储采用定制型的压缩算法、存储格式采用面向时序海量写入和查询场景优化的行列混存格式；查询算子上针对时序引入更多时间窗口相关的函数、查询协议上面向时序模型优化；数据删除采用更灵活的过期策略等。

这些领域特定的专门优化，可以让时序数据库在领域能力、性能、成本、稳定性等维度上对比通用型数据库会有极大的优势。

总结

时序数据库已被广泛用于物联网(Internet of Things)、金融数据分析、监控和警报系统、能源管理、医疗保健应用以及其他对“时间”敏感的行业。通过使用时序数据库来对时序数据进行分析预测，企业可以从数据中获得有价值的信息，从而做出更明智的决策，获得独特的竞争优势。

然而，时序数据库跟关系数据库并非水火不容的关系，由于业务系统通常还在大量使用关系数据库，如何使得时序的数据和业务的数据能更方便、更好地结合，从而产生更大的业务价值，是时序数据库需要解决的问题之一。

关于 Greptime：

Greptime 格睿科技致力于为智能汽车、物联网及可观测等产生大量时序数据的领域提供实时、高效的数据存储和分析服务，帮助客户挖掘数据的深层价值。目前主要有以下三款产品：

GreptimeDB 是一款用 Rust 语言编写的时序数据库，具有分布式、开源、云原生和兼容性强等特点，帮助企业实时读写、处理和分析时序数据的同时降低长期存储成本。
GreptimeCloud 可以为用户提供全托管的 DBaaS 服务，能够与可观测性、物联网等领域高度结合。
GreptimeAI 是为 LLM 应用量身定制的可观测性解决方案。
车云一体解决方案是一款深入车企实际业务场景的时序数据库解决方案，解决了企业车辆数据呈几何倍数增长后的实际业务痛点。

GreptimeCloud 和 GreptimeAI 已正式公测，欢迎关注公众号或官网了解最新动态！对企业版 GreptimDB 感兴趣也欢迎联系小助手（微信搜索 greptime 添加小助手）。

官网：https://greptime.cn/

GitHub: https://github.com/GreptimeTeam/greptimedb

文档：https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://www.greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime

微信关注我们

原文链接：https://my.oschina.net/u/6839317/blog/11046036

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

INSERT...SELECT语句对查询的表加锁吗

前言： insert into t2 select * from t1; 这条语句会对查询表 t1 加锁吗？不要轻易下结论。对GreatSQL的锁进行研究之前，首先要确认一下事务的隔离级别，不同的事务隔离级别，锁的表现是不一样的。实验：创建测试表t1，t2 greatsql> create table t1(id int primary key ,c1 varchar(10),c2 datetime,key idx_c1(c1)); greatsql> create table t2 like t1; # id 列为主键，c1列上有普通索引创建存储过程，向t1表插入测试数据 greatsql> delimiter // CREATE or replace PROCEDURE p1() BEGIN DECLARE p1 int default 0; while p1<5 do insert into t1(id,c1,c2) values(p1*2,round(rand()*10000),now()); SET p1 = p1 + 1; end while;...

2024-03-06

297

一、背景在 B 端研发过程中，产品原型在产品需求文档中起着重要的作用。然而，在实际的开发过程中，我们发现了一些问题。首先，在需求评审阶段，有些产品需求文档可能缺少原型或者原型与研发团队的规范不一致，这需要研发同学与产品同学沟通补充原型图或者按照研发团队的规范进行绘制，这增加了产品同学和研发团队之间的沟通成本以及增加了产品同学的学习成本。其次，在业务验收阶段，开发的页面或效果可能不符合业务侧的期望，这又需要产品和研发团队反复沟通，导致业务侧对效果的感知链路过长。此外，产品同学还需要花费大量时间来根据需求文档描述输出样式固定的原型文档。为了解决这些问题，我们想到了利用产品在『市场需求文档（MRD）——产品需求文档（PRD）——页面（Page）』沟通过程中沉淀的『共识』，即产品需求文档中的页面描述。我们可以利用大语言模型强大的推理能力，将这些共识『翻译』成符合研发团队规范的页面，从而减少沟通成本并缩短业务侧对效果的感知链路。另外，为了减少产品在不同界面切换频次，可以让产品利用浏览器插件在 PRD 文档页面进行文字选择，然后唤起原型生成工具生成页面原型和修改原型。本文主要介绍了我们利用大模...

2024-03-06

356

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。