首页 文章 精选 留言 我的

精选列表

搜索[数据管理],共4572篇文章
优秀的个人博客,低调大师

NineData智能数据管理平台新功能发布|2026年8月

8 月,NineData 围绕 **AI 辅助 SQL 开发、多数据源接入、数据导入导出、审批治理和数据复制稳定性** 持续迭代。 ![131](https://developer.qcloudimg.com/http-save/yehe-10024156/a1f2249bb5854b268b1612e8af22d703.png) 本月重点覆盖 SQL 窗口与 ChatDBA 联动、ShardingProxy 和 AWS Redshift 等数据源支持、数据导入导出能力扩展、权限与审批流程补强,以及复制任务自动化和并发写入优化,帮助团队在统一平台中完成数据库开发、变更治理和数据流转。 # **重点发布** ### **数据库 DevOps - SQL 开发与 ChatDBA 深度联动** ![IMG_256](https://developer.qcloudimg.com/http-save/yehe-10024156/4f55e2665bf27adb32f3cf96fecc56ab.png) SQL 窗口、SQL 任务和流程创建编辑器新增 AI 联动能力,AI 可以结合当前数据源、数据库对象和编辑器选中内容提供辅助。 - SQL 窗口对象树支持选中对象后单击 AI,将包含数据源相关信息的 SQL Tag 插入 ChatDBA。 - 编辑表、Function 等对象时,可以将数据源及对象相关信息带入 AI 上下文。 - AI 返回内容支持回填到 SQL IDE,也可以替换编辑器中的旧代码;替换前需要二次确认。 - SQL 任务和流程创建编辑器支持框选代码后发起 AI 查询并回填结果,回滚 SQL 支持 AI 生成。 这些更新让 ChatDBA 从独立对话入口延伸到 SQL 编写、对象编辑和任务创建过程,减少重复补充上下文的操作。 ### **数据库 DevOps - 多数据源与数据开发能力扩展** ![IMG_257](https://developer.qcloudimg.com/http-save/yehe-10024156/9029834e90f50bde4041436ecb65a018.png) 本月新增和补充多类数据源在数据库 DevOps 中的使用能力: - 新增 ShardingProxy 数据源,支持 SQL 窗口、SQL 任务、权限申请、开发规范、数据导入和数据导出。 - AWS Redshift 在 SQL 窗口支持的基础上,新增 SQL 任务、权限申请、开发规范、数据导入和数据导出能力。 - SQL 窗口新增支持 HaishanDB 数据源。 - 权限申请、开发规范和审批流程新增支持 MaxCompute 数据源。 数据导入新增支持 openGauss、GaussDB、ClickHouse、Doris、DWS、Greenplum、ADB PostgreSQL、StarRocks、SelectDB 和 Gbase8s;数据导出新增支持 StarRocks、SelectDB 和 Gbase8s。数据导出还支持在导出前按需执行 CREATE、INSERT INTO ... SELECT 等语句,覆盖更多数据准备和交付场景。 ### **数据库 DevOps - 审批与 SQL 变更治理增强** ![IMG_258](https://developer.qcloudimg.com/http-save/yehe-10024156/d93f061c4986a31b872225b4975fcbd7.png) 外部审批支持添加多个同类型应用,并可以在审批流程映射中选择具体应用和对应流程,满足不同团队使用不同审批应用和流程的协作需求。 SQL 任务预审阶段新增对 OnlineDDL RENAME COLUMN 操作的拦截,将变更限制前置到预审环节;SQL Server 安全规范审核也修复了无法识别表级主键定义的问题。 ### **AI Agent - ChatDBA 与 NineData Skill 使用体验补充** ![IMG_259](https://developer.qcloudimg.com/http-save/yehe-10024156/68c293805b5df6c7a8d9a2ac7e834a39.png) ChatDBA 对话回复新增喜欢、不喜欢和下载操作,用户可以反馈回复是否有帮助,也可以保存需要留存的内容。 NineData Skill 新增数据导入能力。AI Agent 可以在权限、开发规范和审批约束下发起并跟进数据导入任务,进一步补充数据库 DevOps 的自动化操作范围。 ### **数据复制 - 复制任务与数据对比自动化** ![IMG_260](https://developer.qcloudimg.com/http-save/yehe-10024156/318b0e6e2f98c95daf5d3e8065e5901c.png) 创建复制任务时,支持通过 OpenAPI 参数同时创建全量或增量数据对比任务,便于将复制和数据一致性校验接入自动化流程。对比结果应结合复制任务状态和具体链路能力进行判断,复制追平后可以重新执行对比。 # **功能优化与稳定性** ### **数据复制 - 按表攒批、并发写入与任务状态优化** - PostgreSQL 增量复制写入目标端时默认使用 PreparedStatement 提交。 - KingbaseES for Oracle 按表攒批支持组内并发写入,OceanBase MySQL 按表攒批支持表内并发执行。 - 按表攒批支持自动适配并发度,并优化组内并发执行性能。 - 优化暂停、启动、终止和删除复制任务时的任务状态同步,降低子过程覆盖最终状态的风险。 - 达到终态的复制任务不再允许启动,避免终止任务重新运行后造成数据不一致。 - 聚合分布式源端复制任务各子任务的性能指标,提升主任务性能数据查询效率。 ### **数据复制 - DDL 转换、类型映射与连接状态反馈增强** - SQL Server 增量 DDL 复制支持转换 TRUNCATE TABLE。 - Oracle 到 TiDB、TiDB 到 Oracle 的增量 DDL 复制支持转换 COMMENT 语法。 - PostgreSQL 到 GaussDB 支持列类型映射。 - 增量复制过程中定时检查 Kafka 服务器连通性,连接失败时在任务详情中显示错误。 ### **数据库 DevOps - 对象展示与兼容性问题修复** - 优化 ADB PostgreSQL 分区表在 SQL 窗口对象树中的展示。 - 修复 SQL Server 表对象搜索方法更新后对象解析失败的问题。

优秀的个人博客,低调大师

Quick Vector 1.0.0 发布,桌面 GIS 矢量数据管理工具

Quick Vector 1.0.0 版本发布 Quick Vector 是一款基于 Electron 、VUE 、OpenLayers 、jsts 开发,使用 EPSG:4326(WGS84) 坐标系进行开发的一款桌面 GIS 矢量数据分析,查看软件。 项目地址: https://gitee.com/pychfarm_admin/quick-vector 、https://github.com/huifer/quick-vector 本次新版本是项目的首个发布版本,在项目使用过程中或多或少会存在一写问题,欢迎大家在 issues上记录问题。作者会及时修复相关问题,同时也欢迎用户对项目提出功能意见,作者会及时更新相关功能。 功能清单 支持CSV文件带有空间数据和无空间数据的点、线数据成图。 支持GeoJson文件成图。 支持MySQL数据库表带有空间数据成图。 支持导出GeoJson文件。 支持图层树、属性窗口(查看属性)、居中显示图层。 支持缓冲区分析。 支持线图层的环分析 支持线图层的自重叠分析 支持点图层的空间数据重复分析 支持点图层的属性数据重复分析 支持天地图矢量和卫星影像查看(基于WGS84坐标系) 支持属性表查看

优秀的个人博客,低调大师

智能媒体管理(IMM) 多媒体文件元数据管理设计

简介 随着存储团队的产品愈加丰富,我们发现处理对文件、内容本身的高性能、稳定、安全存储之外,用户更多的对挖掘存储内容对价值提出了要求。对于多媒体文件(如图片、视频、音频、文档等),其包含的信息量是非常丰富的。如何将这些信息激活,有效的进行管理和检索,是 智能媒体管理(IMM) 尝试解决的问题。 媒体集 Set 为此,IMM 设计了 媒体集 ( Set ) 的概念,表示媒体 元信息 的集合。 在图中我们看到,Set 实际上是元数据的集合,记录了媒体文件(来自 OSS)和其元数据的绑定关系,以及所有元数据本身。 实际开发时,可以通过 CreateSet 来创建一个 Set 。 如何界定 Set 呢?我们认为 Set 为 一组 元数据,它可以对应一个用户,一个文件夹,一个公司的所有媒体文件等。一个 Set 内应当存放内聚的媒体文件,可以尽量缩小 S

优秀的个人博客,低调大师

数据管理 - 每天5分钟玩转 Docker 容器技术(147)

本章将讨论 Kubernetes 如何管理存储资源。 首先我们会学习 Volume,以及 Kubernetes 如何通过 Volume 为集群中的容器提供存储;然后我们会实践几种常用的 Volume 类型并理解它们各自的应用场景;最后,我们会讨论 Kubernetes 如何通过 Persistent Volume 和 Persistent Volume Claim 分离集群管理员与集群用户的职责,并实践 Volume 的静态供给和动态供给。 Volume 本节我们讨论 Kubernetes 的存储模型 Volume,学习如何将各种持久化存储映射到容器。 我们经常会说:容器和 Pod 是短暂的。 其含义是它们的生命周期可能很短,会被频繁地销毁和创建。容器销毁时,保存在容器内部文件系统中的数据都会被清除。 为了持久化保存容器的数据,可以使用 Kubernetes Volume。 Volume 的生命周期独立于容器,Pod 中的容器可能被销毁和重建,但 Volume 会被保留。 本质上,Kubernetes Volume 是一个目录,这一点与 Docker Volume 类似。当 Volume 被 mount 到 Pod,Pod 中的所有容器都可以访问这个 Volume。Kubernetes Volume 也支持多种 backend 类型,包括 emptyDir、hostPath、GCE Persistent Disk、AWS Elastic Block Store、NFS、Ceph 等,完整列表可参考https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes Volume 提供了对各种 backend 的抽象,容器在使用 Volume 读写数据的时候不需要关心数据到底是存放在本地节点的文件系统中呢还是云硬盘上。对它来说,所有类型的 Volume 都只是一个目录。 我们将从最简单的 emptyDir 开始学习 Kubernetes Volume。 emptyDir emptyDir 是最基础的 Volume 类型。正如其名字所示,一个 emptyDir Volume 是 Host 上的一个空目录。 emptyDir Volume 对于容器来说是持久的,对于 Pod 则不是。当 Pod 从节点删除时,Volume 的内容也会被删除。但如果只是容器被销毁而 Pod 还在,则 Volume 不受影响。 也就是说:emptyDir Volume 的生命周期与 Pod 一致。 Pod 中的所有容器都可以共享 Volume,它们可以指定各自的 mount 路径。下面通过例子来实践 emptyDir,配置文件如下: 这里我们模拟了一个 producer-consumer 场景。Pod 有两个容器producer和consumer,它们共享一个 Volume。producer负责往 Volume 中写数据,consumer则是从 Volume 读取数据。 ① 文件最底部volumes定义了一个emptyDir类型的 Volumeshared-volume。 ②producer容器将shared-volumemount 到/producer_dir目录。 ③producer通过echo将数据写到文件hello里。 ④consumer容器将shared-volumemount 到/consumer_dir目录。 ⑤consumer通过cat从文件hello读数据。 执行如下命令创建 Pod: kubectl logs显示容器consumer成功读到了producer写入的数据,验证了两个容器共享 emptyDir Volume。 因为 emptyDir 是 Docker Host 文件系统里的目录,其效果相当于执行了docker run -v /producer_dir和docker run -v /consumer_dir。通过docker inspect查看容器的详细配置信息,我们发现两个容器都 mount 了同一个目录: 这里/var/lib/kubelet/pods/3e6100eb-a97a-11e7-8f72-0800274451ad/volumes/kubernetes.io~empty-dir/shared-volume就是 emptyDir 在 Host 上的真正路径。 emptyDir 是 Host 上创建的临时目录,其优点是能够方便地为 Pod 中的容器提供共享存储,不需要额外的配置。但它不具备持久性,如果 Pod 不存在了,emptyDir 也就没有了。根据这个特性,emptyDir 特别适合 Pod 中的容器需要临时共享存储空间的场景,比如前面的生产者消费者用例。 下一节我们学习 hostPath Volume。 书籍: 1.《每天5分钟玩转Kubernetes》https://item.jd.com/26225745440.html 2.《每天5分钟玩转Docker容器技术》https://item.jd.com/16936307278.html 3.《每天5分钟玩转OpenStack》https://item.jd.com/12086376.html

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册