首页 文章 精选 留言 我的

精选列表

搜索[时序数据库 CTSDB],共10021篇文章
优秀的个人博客,低调大师

Apache IoTDB 0.11.2 发布,物联网时序数据库

Apache IoTDB 0.11.2现已发布。Apache IoTDB 是一个集成数据专为时间序列数据设计的管理引擎。它为用户提供以下服务:数据收集、存储和分析。由于其轻巧的结构,高性能和丰富的功能集,以及与 Apache Hadoop、Spark 和 Flink 的深度集成,IoTDB 可以满足海量需求物联网中的数据存储、高速数据提取和复杂数据分析等工业领域。 这是一个错误修复版本,主要包括: IOTDB-1049修复 Nullpointer 异常和 Last 查询中的删除错误 IOTDB-1060 支持对不带 where 子句的 delete 语句的完全删除 IOTDB-1068 修复时间序列元数据缓存错误 IOTDB-1069 限制刷新 memtable 数,以避免在禁用 mem_control 时发生 OOM IOTDB-1077 在 java 会话中添加 insertOneDeviceRecords API IOTDB-1106 Delete timeseries 语句将错误地删除其他时间序列 修复了 grafana 值时间位置错误 GetObject 返回了所有字符串数据类型 修复 Sync 失败:Socket被 peer 关闭 DeleteData 方法在 Session 中存在,但在 SessionPool 中不存在。 在 iotdb-engine.properties 中添加 thrift_max_frame_size 删除所有数据后修复最后的错误结果 在客户端中 print 更多insert error message 将 enablePartition 参数公开到 iotdb-engines.properpties 中 详情可查看发布说明。

优秀的个人博客,低调大师

干货丨时序数据库DolphinDB作业管理概述

作业(Job)是DolphinDB中最基本的执行单位,可以简单理解为一段DolphinDB脚本代码在DolphinDB系统中的一次执行。Job根据阻塞与否可分成同步作业和异步作业。 同步作业 同步作业也称为交互式作业(Interactive Job),它的主要来源有: Web notebook DolphinDB GUI DolphinDB命令行界面 通过DolphinDB提供的各个编程语言API接口 由于这种类型的作业对实时性要求较高,DolphinDB在执行过程中会自动给予较高的优先级,使其更快地得到计算资源。 异步作业 异步作业是在DolphinDB后台执行的作业,包括: 通过submitJob或submitJobEx函数提交的批处理作业。 通过scheduleJob函数提交的定时作业。 Streaming 作业。 这类任务一般对结果的实时反馈要求较低,且需要长期执行,DolphinDB一般会给予较低的优先级。 子任务 在DolphinDB中,若数据表数据量过大,一般都需要进行分区处理。如果一个Job A里含有分区表的查询计算任务(如SQL查询),将会分解成多个子任务并送到不同的节点上并行执行,等待子任务执行完毕之后,再合并结果,继续Job A的执行。类似的,DolphinDB的分布式计算也会产生子任务。因此,Job也可以理解成一系列的子任务。 Worker与Executor DolphinDB是一个P2P架构的系统,即每一个Data Node的角色都是相同的,它们都可以执行来自用户提交的Job,而因为一个Job可能产生子任务,每个Data Node需要有负责Job内部执行的调度者,我们称它为Worker,它负责处理用户提交的Job,简单计算任务的执行,并执行Job的任务分解,任务分发,并汇集最终的执行结果。Job中分解出来的子任务将会被分发到集群中的Data Node上(也有可能是本地Data Node),并由Data Node上的Worker或Executor线程负责执行。 具体Worker与executor在执行job的时候主要有以下几种情况: 当一个表没有进行分区,对其查询的Job将会有Worker线程执行掉。 当一个表被分区存放在单机上时候,对其的查询Job可能会分解成多个子任务,并由该节点上的多个Executor线程执行,达到并行计算的效果。 当一个表被分区存储在DFS时,对其查询的Job可能会被分解成多个子任务,这些子任务会被分发给其他Node的Worker上执行,达到分布式计算的效果。 为了最大化性能,DolphinDB会将子任务发送到数据所在的Data Node上执行,以减少网络传输开销。比如: 对于存储在DFS中的分区表,Worker将会根据分区模式以及分区当前所在Data Node来进行任务分解与分发。 对于分布式计算,Worker将会根据数据源信息,发送子任务到相应的数据源Data Node执行。 Job调度 Job优先级 在DolphinDB中,Job是按照优先级进行调度的,优先级的取值范围为0-9,取值越高优先级则越高。对于优先级高的Job,系统会更及时地给与计算资源。每个Job一般默认会有一个default priority,取值为4,然后根据Job的类型又会有所调整。 Job调度策略 基于Job的优先级,DolphinDB设计了多级反馈队列来调度Job的执行。具体来说,系统维护了10个队列,分别对应10个优先级,系统总是分配线程资源给高优先级的Job,对于处于相同优先级的Job,系统会以round robin的方式分配线程资源给Job;当一个优先级队列为空的时候,才会处理低优先级的队列中的Job。 Job并行度 由于一个Job可能会分成多个并行子任务,DolphinDB的Job还拥有一个并行度parallelism,表示在一个Data Node上,将会最多同时用多少个线程来执行Job产生的并行任务,默认取值为2,可以认为是一种时间片单位。举个例子,若一个Job的并行度为2,Job产生了100个并行子任务,那么Job被调度的时候系统只会分配2个线程用于子任务的计算,因此需要50轮调度才能完成整个Job的执行。 Job优先级的动态变化 为了防止处于低优先级的Job被长时间饥饿,DolphinDB会适当降低Job的优先级。具体的做法是,当一个job的时间片被执行完毕后,如果存在比其低优先级的Job,那么将会自动降低一级优先级。当优先级到达最低点后,又回到初始的优先级。因此低优先级的任务迟早会被调度到,解决了饥饿问题。 设置Job的优先级 DolphinDB的Job的优先级可以通过以下方式来设置: 对于console、web notebook以及API提交上来的都属于interactive job,其优先级取值为min(4,一个可调节的用户最高优先级),因此可以通过改变用户自身的优先级值来调整。 对于通过submitJob提交上的batch job,系统会给与default priority,即为4。用户也可以使用submitJobEx函数来指定优先级。 定时任务的优先级无法改变,默认为4。 计算容错 DolphinDB database 的分布式计算含有一定的容错性,主要得益于分区副本冗余存储。当一个子任务被发送到一个分区副本节点上之后,若节点出现故障或者分区副本发生了数据校验错误(副本损坏),Job Scheduler(即某个Data Node的一个worke线程)将会发现这个故障,并且选择该分区的另一个副本节点,重新执行子任务。用户可以通过设置dfsReplicationFactor参数来调整这种冗余度。 计算与存储耦合以及作业之间的数据共享 DolphinDB的计算是尽量靠近存储的。DolphinDB之所以不采用计算存储分离,主要有以下几个原因: 计算与存储分离会出现数据冗余。考虑存储与计算分离的Spark+Hive架构,Spark应用程序之间是不共享存储的。若N个Spark应用程序从Hive读取某个表T的数据,那么首先T要加载到N个Spark应用程序的内存中,存在N份,这将造成机器内存的的浪费。在多用户场景下,比如一份tick数据可能会被多个分析人员共享访问,如果采取Spark那种模式,将会提高IT成本。 拷贝带来的延迟问题。虽然说现在数据中心逐渐配备了RDMA,NVMe等新硬件,网络延迟和吞吐已经大大提高。但是这主要还是在数据中心,DolphinDB系统的部署环境可能没有这么好的网络环境以及硬件设施,数据在网络之间的传输会成为严重的性能瓶颈。 综上这些原因,DolphinDB采取了计算与存储耦合的架构。具体来说: 对于内存浪费的问题,DolphinDB的解决方案是Job(对应Spark应用程序)之间共享数据。在数据经过分区存储到DolphinDB的DFS中之后,每个分区的副本都会有自己所属的节点,在一个节点上的分区副本将会在内存中只存在一份。当多个Job的子任务都涉及到同一个分区副本时,该分区副本在内存中可以被共享地读取,减少了内存的浪费。 对于拷贝带来的延迟问题,DolphinDB的解决方案是将计算发送到数据所在的节点上。一个Job根据DFS的分区信息会被分解成多个子任务,发送到分区所在的节点上执行。因为发送计算到数据所在的节点上相当于只是发送一段代码,网络开销大大减少。

优秀的个人博客,低调大师

Apache IoTDB 0.10.1 发布,物联网时序数据库

Apache IoTDB 0.10.1 发布了。Apache IoTDB(孵化中)是一个集成数据专为时间序列数据设计的管理引擎。它为用户提供以下服务:数据收集、存储和分析。由于其轻巧的结构,高性能和丰富的功能集,以及与 Apache Hadoop、Spark 和 Flink 的深度集成,IoTDB 可以满足海量需求物联网中的数据存储、高速数据提取和复杂数据分析等工业领域。 当前版本是 IoTDB 0.10.0 的错误修复版本,主要包括: 因 WAL 错误而导致 InsertTablet 反序列化 无法升级所有存储组 显示最新时间序列时插入时死锁 Windows 启动检查中的重命名文件或删除文件错误 Hive 连接器中的 BufferUnderflowException 未关闭的文件阅读器,有小的内存泄漏 并发查询吞吐量低 存在一些无序数据时查询结果不正确 在会话中将默认提取大小更改为 10000 修复设置的 rowLimit 和 rowOffset 错误 为那些在第一次启动后不能再修改的参数增加一个新的配置类型 改进 “group by” 查询性能 删除 v0.10 的日志可视化工具 修复许可证二进制 当查询存储在 HDFS 中的 TsFile 时,修复 BufferUnderflowException python 会话客户端版本 0.10.0 修复 selfCheck() 中的错误 修复 Tablet 中 MeasurementSchema 的文档 修复升级 system.properties 时崩溃,多次升级 mlog 的问题 改进 IoTDB 重新启动过程 删除 hive-serde 2.8.4 引入的 jol-core 依赖关系 由于许可证兼容性,删除 org.json 依赖项 修复加载额外的 tsfile 时设置历史版本的问题 更新说明

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 16 发布,开源时序数据库

InfluxDB 2.0.0 Beta 16 现已发布,具体更新内容如下: Breaking 19066:弃用不推荐使用的 /packages route tree 19116:支持更多类型的模板 envRef 默认值,并且需要明确的默认值 19104:从 API 中删除 orgs/labels嵌套路由。 Features 19075:从公共的 HTTP API list/read 调用中添加资源链接到堆栈的资源 19103:在达到极限时增强资源创建体验 19223:将 dashboards 命令添加到 Influx CLI 19225:允许 user onboarding时选择设置密码 18841:限制在 QueryBuilder 中建立的查询响应大小,要求有一个汇总窗口。 Bug 修复 19043:强制所有 influx CLI flagargs 有效 19188:存在多个查询时,dashboard cells 正确映射结果 19146:当切换到 UTC 时区时,dashboard cells 和 overlay 使用 UTC 作为查询时间 19222: Bucket名称不得包含引号 用户界面改进 19231:警报页面过滤器输入现在具有用于键盘导航的选项卡索引 更新说明:https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 15 发布,开源时序数据库

InfluxDB 2.0.0 Beta 15 现已发布,具体更新内容如下: Breaking 004:从 influxd 二进制文件中删除了 migration 命令。 18921:受限制的 UI 变量名称不与 Flux 保留字冲突 Features 18888:将事件源添加到 Influx 堆栈操作中 18910:添加堆栈的卸载功能 18912:删除不推荐使用的Influxpkg command tree 18997:将 Telegraf 管理命令添加到 Influx CLI 19030:为 influx CLI 配置文件启用动态目标 19029:离开 dashboard 会取消所有待处理的查询 19003:升级到 Flux v0.74.0 Bug 修复 18891:允许 0 为 Y 域的自定义设置最小值 18969:Single Stat cells 应再次在 Safari 中正确呈现 18974:将查询提交给使用过的变量时限制变量查询 19039:解决了切换 orgs 未正确重定向的问题 18989:在高级构建器中停止获取标签 更新说明:https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 14 发布,开源时序数据库

InfluxDB 2.0.0 Beta 14 现已发布,具体更新内容如下: Features 18758:扩展流入堆栈更新cmd,无需添加模板即可添加资源 18793:在新的 /api/v2/templates和 /api/v2/stacks public API 下标准化 InfluxDB 模板 18818:使用种类标识符扩展template Summary和 Diff 嵌套类型。 18857:Flux 更新至 v0.71.1 18805:为 Linux 添加了静态构建 Bug 修复 18878:不要覆盖通过 ldflags 设置的构建日期 18842:修复了导入一个 Check 后定义查询不可用的问题 18845:更新文档链接 更新说明:https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

Apache IoTDB 0.10.0 发布,物联网时序数据库

Apache IoTDB 0.10.0 已发布,Apache IoTDB(孵化中)是一个集成数据专为时间序列数据设计的管理引擎。它为用户提供以下服务:数据收集、存储和分析。由于其轻巧的结构,高性能和丰富的功能集,以及与 Apache Hadoop、Spark 和 Flink 的深度集成,IoTDB 可以满足海量需求物联网中的数据存储、高速数据提取和复杂数据分析等工业领域。 此版本是 IoTDB 的第三个主要版本,也是一个大版本更新,它提供了许多新功能和改进。部分新功能如下: IOTDB-217新增 GROUPBY 语法,如 select avg(s1) from root.sg.d1.s1 GROUP BY ([1, 50), 5ms) IOTDB-220 新增热加载配置功能 IOTDB-292新增加载外部 tsfile 功能 IOTDB-298 支持查询最新数据点,如 select last * from root IOTDB-305 在执行设备对齐时增加数值过滤功能 IOTDB-396 支持新的查询子句:disable align,如 select * from root disable align IOTDB-447 支持查询不存在的测量值和常量值 IOTDB-448 添加 IN 操作,如 where time in (1,2,3) IOTDB-456 支持 GroupByFill 查询,如 select last_value(s1) from root.sg.d1 GROUP BY ([1, 10), 2ms) FILL(int32[previousUntilLast]) IOTDB-497支持 Apache Flink Connector 与 IoTDB 的连接 IOTDB-565 支持 MQTT 协议,默认为禁用状态,在 iotdb-engine.properties 中打开 IOTDB-588 增加标签和属性管理 可从 0.9.x 进行在线升级 JDBC OSGi 可以使用,并增加了一个特性文件 IOTDB-700添加基于 OpenID Connect 的 JWT 访问作为用户名/密码的替代方案 IOTDB-715在 previousuntillast 中支持以前的时间范围 IOTDB-719在配置中增加avg_series_point_number_threshold IOTDB-734在 SQL 语法中增加对 Double / Floats 的 NaN 支持 详情查看发布公告。

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 12 发布,开源时序数据库

InfluxDB 2.0.0 Beta 12 现已发布,具体更新内容如下: Features 8279:通过堆栈将所有 pkg 应用程序设为有状态 18322:增加将堆栈现有的(平台中的)资源状态导出为 pkg 的功能。 18334:以改进的用法和长格式示例更新了 influx pkg 命令。 18344:使用版本和 User-Agent 扩展 Influx CLI。 18355:集成了 RedirectTo 功能,因此,CLOUD 用户现在可以在登录后导航回原始链接的页面 18392:在模板下合并 pkg influx 命令。这会除去部分 CLI 命令的嵌套。 18400:仪表板在 navigating away 后保持排序顺序 18480:允许任务在新选项卡中打开 Bug 修复 18331:在 DBRP 操作中,除了 ID 之外,还支持 organization name。 18335:当向 influx CLI 提供意外错误时,禁用失败。 18345:让 influx 删除cmd respect 配置 18385:在读取时强制执行 pkger 的存储初始化。 18434:Backfill pkger 中直方图缺少的 fillColumns 字段。 18471:在切换功能时通知用户如何退出演示模式 UI Improvements 18319:在存储区列表中显示存储区 ID 并启用 1 单击复制 18361:Tokens list 现在与其他 resource lists 一致 18346:切换变量时减少被 hydrated 的变量的数量 18447:重新设计仪表板单元的加载指示器,使其更加明显 更新说明:https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

Apache IoTDB 0.9.3 发布,物联网时序数据库

Apache IoTDB0.9.3 已经发布了,这是 0.9 系列一个小版本,主要修了一个严重的 bug:如果执行了错误的元数据操作,比如删除一个不存在的存储组,重启后元数据为空。因为重启重做元数据日志时,遇到异常直接将元数据模块置空了,修复方法是跳过错误的元数据日志。 具体更新内容包括: [IOTDB-531] 修复 JDBC UTL 不支持域名的 bug [IOTDB-563] 修复 pentaho 无法被下载的问题 [IOTDB-608] 重启时跳过错误的元数据日志 [IOTDB-634] 修复将底层文件系统设置为 HDFS 时的数据合并问题 [IOTDB-636] 修复Grafana 连接器不使用正确的时间粒度问题 [IOTDB-528] 增加 Grafana 连接器的降采样方式 [IOTDB-635] 当 Grafana 对数据类型使用错误的聚合时,修改为通用的聚合函数 last 重试 移除官网关于加载外部 TsFile的 文档(这个功能是 0.10 版本的,还没发布) 详情查看发布公告。 此外,IoTDB 官网进行了大升级:http://iotdb.apache.org/zh,界面更新,并且新增了中英文的设计文档。

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 8 发布,开源时序数据库

InfluxDB 2.0.0 Beta 8现已发布,具体更新内容如下: Features 17490:influx config -,切换回先前的激活配置 17581:介绍新的导航菜单 17595:将-f(--file)选项添加到influx query和influx task命令 17498:添加了对命令行选项的支持,以限制查询的内存 Bug 修复 17612:在仪表板索引视图中修复卡的大小和布局问题 17651:修复了默认为黑色的检查图字体和线条,导致图不可读 17660:修复了向资源添加标签时文本换行显示问题和弹出窗口大小调整错误 17670:尊重已编译查询的当前时间(如果已提供) 17692:更新giraffe以固定刻度之间的间距 17694:修复了 Flux 功能列表中的错别字 17701:在 Safari 的脚本编辑器中允许鼠标光标 17609:修复了变量不能使用其他变量的问题 UI Improvements 7583:更新“Alerts”页面的布局以在所有屏幕尺寸上工作 17657:对“Getting Started”页面上的仪表板进行了最新修改 更新说明:https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 7 发布,开源时序数据库

InfluxDB 2.0.0 Beta 7现已发布,具体更新内容如下: Features 17232:允许仪表板以浅色模式显示(可选) 17273:为 influx cli 添加 shell 完成命令 17353:通过 meta.name 字段使所有 pkg 资源唯一 17363:创建后无法再检索 Telegraf 配置令牌,但是可以在设置 Telegraf 后创建新令牌 17400:可以通过 cli 按名称删除 bucket 17396:添加模块以将行数据写入指定的 url、org 和 bucket 17448:为 pkger 堆栈、有状态的程序包管理添加基础 17462:标记以禁用任务计划 17470:添加了将 cli 输出作为 json 输出并隐藏表头的功能 17472:添加一种通过 cli 切换配置的简便方法 Bug 修复 17240:NodeJS 徽标在 Firefox 中正确显示 17363:修复了 Telegraf 配置错误,其中系统 buckets 出现在 buckets 下拉列表中 17391:修复了阈值检查错误,当字段名称中有空格时,无法创建检查 17384:重新使用由迭代器构建的切片以减少分配 17404:更新了重复检查错误消息,使其更加明确和可操作 UI Improvements 17291:重新设计 OSS 登录页面 17297:显示板没有单元格时显示图形 更新说明: https://github.com/influxdata/influxdb/releases

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 6 发布,开源时序数据库

InfluxDB 2.0.0 Beta 6 现已发布,具体更新内容如下: Features 17085:单击 bucket name 将用户带到已选择 bucket 的Data Explorer 17095:使用表视图支持扩展 pkger 仪表板 17114:允许 retention 作为持续时间提供给influxsetup 命令 17138:扩展 pkger 出口的所有功能,支持利用 lable name 和资源类型过滤 17049:为云用户添加了新的登录和注册屏幕,该屏幕允许从其区域直接登录 17170:添加了新的 CLI 多配置文件管理工具 Bug 修复​​​​​ 7039:解决了导出通知规则任务的问题 17042:修复了按组织 ID 导出时不导出任务的问题 17070:修复了导入查询的任务在 pkger 中中断的问题 17028:修复了以下问题:在脚本编辑器中选择聚合函数未将函数添加到新行中 17072:修复了在查询中使用映射变量时,创建映射类型的变量会传递错误值的问题 17050:向身份验证 CLI 命令添加了丢失的用户名 17113:检查查询生成器的禁用组功能 ...... 更多详细信息可查看更新说明。

优秀的个人博客,低调大师

InfluxDB 2.0.0 Beta 5 发布,开源时序数据库

InfluxDB 2.0.0 Beta 5 现已发布,具体更新内容如下: Features 16991:更新了 v0.61 的Flux functions list 16574:将安全标志添加到会话 cookie Bug 修复​​​​​ 16919:按字母顺序对首页上的仪表板进行排序 16934:“Tokens”页面现在按status排序 16931:在检查中设置标签的默认值 16935:修正按变量类型排序 16973:当线的长度不同时,计算正确的堆积线累积 17010:修复了scrollbar 问题,其中resource cards会使父容器溢出,而不是被隐藏和滚动 16992:查询生成器现在按列值而不是标记值分组 17013:Scatterplots 可以再次正确呈现tooltip 17027:下降 pkgergauge chart对颜色阈值类型的要求 16961:删除秘密的 cli 确认,添加秘密值的可选参数 更新说明

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册