搜索[OLTP]结果-低调大师优秀个人博客

精选列表

搜索[OLTP]，共969篇文章

什么是OLTP ，MySQL是如何支持OLTP的？

最近在工作中涉及到几款数据库的横向对比，在查阅相关资料中一直有一个专业名词“OLTP”出现，于是就研究梳理了一下这个数据库相关的专业词汇。同时，也从MySQL的视角看看是如何对其进行支持的。

2026-07-10

OLTP类系统数据结转最佳实践

本文着重介绍了京东数据结转平台的技术架构，及OLTP类系统数据结转最佳实践，探讨解决大数据背景下的数据结转问题。

2017-07-31

目录一、前言二、DAS的定义 1、DAS的定义 2、DAS功能特点三、DAS应用场景 1、标准版 2、企业版四、操作示例（标准版） 1、登录华为控制台登录，输入账号密码 2、新增数据库实例链接 3、新建对象 4、SQL操作 5、导入导出五、小结一、前言传统的数据库管理软件，不仅需要下载安装、功能还比较单一，而且已经滞后于云服务的发展模式。华为GaussDB云数据库提供了配套的生态工具数据管理服务DAS。 DAS通过与数据库内核的紧密结合，提供了数据库开发、运维、智能诊断一站式云上数据库管理平台，方便用户使用和运维华为云数据库。二、DAS的定义 1、DAS的定义数据管理服务（Data Admin Service，简称DAS），是一种提供数据库可视化操作的工具，包括基础SQL操作、高级数据库管理、智能化运维等功能，旨在帮助用户易用、安全、智能的进行数据库管理（连上网络、打开浏览器，即可随时随地、方便快捷的使用DAS），大幅提高工作效率，让数据管理变得既简单又安全。 2、DAS功能特点轻松管理：实现云上可视化界面连接和管理数据库易操作：简单方便访问数据，且支持类似Excel方式编辑数据，SQL零基础也能无障碍进行表数据编辑及统计分析操作;支持保存常用的SQL，并提供SQL模板，可随时引用执行，简单易用。高效率：实现云端研发测试，快速部署，快速访问数据库，提升研发效率。安全防护：云端专用通道管理数据，华为云严格控制数据库访问。操作安全保障：内置了安全保护措施，有效保障数据库的稳定运行，让用户操作起来更安心;比如:用户执行一个慢SQL时，DAS会自动设香超时机制，防止因慢SQL执行时间过久而导致的数据库性能抖动。可视化对象管理：导航树形结构，清晰展示各个对象并实现可视化结构管理功能。三、DAS应用场景 1、标准版面向开发人员，最好用的数据库客户端，无需安装本地客户端，所见即所得的可视化提作体验，提供数据和表结构的同步、在线编辑，SQL输入的智能提示等丰富的数据库开发功能。元数据管理：库、表列表、表大小索引大小、存储过程、函数。 SQL优化：SQL语句优化改写；索引优化建议；执行计划展示。 SQL查询窗口：智能化的SQL输入提示；查询结果在线编辑；历史查询记录快速复用；同步（导入导出）：10G大小的SQL附件导入；整库、指定表、查询SQL等多种方式的数据导出；可跨实例的库之间的表结构一致性比对与同步数据操作：快速、自动化的填充表的测试数据；基于binlog解析，对误删数据进行找回对象结构操作：可见可得的表结构在线编辑 2、企业版数据是企业的核心资产，如何控制敏感数据访问权限、实现数据库变更安全、操作可回溯审计、降低DBA人力成本，是数据库实例数量达到一定规模时企业的重要诉求。企业 DevOPS平台，基于权限最小化控制和审批流程机制提供数据保护、变更审核、提作审计研发自助化等数据库DevOPS平台，帮助企业实现大规模数据库下的标准化规范化、高效率、超安全的管理手段。数据访问安全：员工不接触数据库登录名和密码，对库的查询需要先申权限，支持每天查询的总次数、总数据行数、每次查询的最大返回行数等多维度查询控制。敏感数据保护：敏感字段自动识别并进行打标;员工在执行查询和导出时，敏感数据脱敏显示。变更安全：所有对库的操作，均有审计日志记录，数据库操作行为可追溯。操作审计：变更SQL的风险识别；业务审核控制；变更执行时的数据库水位自动检测；大数据表的数据清理。提效率降成本：灵活的安全风险和审批流程自定义；库上的业务Owner和DBA角色的赋权，将低风险的库变更操作流程下放到业务主管，降低企业的DBA人力成本。四、操作示例（标准版）本小节主要以开发者的使用身份简单介绍一下DAS的基本操作和使用。 1、登录华为控制台登录，输入账号密码 2、新增数据库实例链接步骤一：选择“数据库 > 数据管理服务 DAS” 如下图显示两个模块，一个是开发工具（面向开发者）、一个是DBA智能运维（面向DBA&运维人员）。选择“进入开发工具” 步骤二：点击“新增数据库实例登录” 步骤三：选择数据库引擎、数据库来源（实例）、实例对应的用户名及密码（记住密码），点击确认。步骤四：点击“登录” 步骤五：成功登录DAS管理界面 3、新建对象在DAS管理界面，我们可以创建和管理数据库对象等。步骤一：点击“新建数据库”,填写数据库名称并确认。步骤二：通过“库管理”，进行对象（表、视图、存储过程、触发器、序列）创建或者“SQL操作”界面，进行对象（表、视图、存储过程、触发器、序列）创建。 4、SQL操作打开“SQL操作”界面，会有SQL输入提示，协助完成SQL编写。步骤一：点击“SQL操作”按钮，打开SQL操作界面; 步骤二：在SQL界面编辑区，我们可以进行SQL编辑操作，例如查询等步骤三：编写SQL，DAS提供SQL提示功能；步骤四：按键盘F8，或者点击编辑区的“执行SQL（F8）”运行，即可获得执行结果。 5、导入导出在导入导出界面，我们可以将已有的SQL语句导入数据库中执行，将数据库文件或者SQL结果集进行导出保存。 1）导入步骤一：新建导入任务，可以导入SQL文件或者CSV文件; 步骤二：选择文件来源，既可以是本地导入，也可以从OBS获取; 步骤三：选择数据库，导入后的文件将在在对应的库内执行。 2）导出：方式一：导出数据库方式二：导出SQL结果集五、小结 DAS工具的功能非常强大和全面，其通过DAS的核心能力和差异化能力，为用户提供了全面的数据库管理和运维解决方案，使得用户可以更加方便地使用和管理华为云GaussDB数据库，同时也提高了数据库的可靠性和效率。 ——结束。

2023-07-31

GaussDB OLTP云数据库配套工具DRS

目录一、前言二、DRS定义与使用场景 1、DRS定义 2、DRS场景示意图三、DRS核心功能 1、实时迁移管理 2、实时同步管理 3、备份迁移管理 4、数据订阅管理 5、实时灾备管理四、小结一、前言华为GaussDB云数据库提供了配套的生态工具数据复制服务DRS。 DRS围绕云数据库，降低数据库之间数据流通的复杂性，有效帮助企业减少数据传输处理的成本。本文将主要介绍一下DRS是什么以及它的使用场景和核心功能。二、DRS定义与使用场景 1、DRS定义华为云数据复制服务（DRS ，Data Replication Service）是一种易用、稳定、高效，用于数据库在线迁移和数据库实时同步的云服务。你可通过数据复制服务快速解决多场景下数据库之间的数据流通问题，满足数据传输业务需求。 2、DRS场景示意图系统迁移以及业务数据迁移是数据库常见活动之一。 VPC网络：基于虚拟私有云（VPC，Virtual Private Cloud）网络的数据迁移，是指实时迁移场景下，源数据库与目标数据库属于同一个虚拟网络内或者跨可通信虚拟网络内，不需要额外搭建其他网络服务。 VPN网络：基于虚拟专用网络（VPN，Virtual Private Network）的数据迁移，是指实时迁移场景下，源数据库与目标数据库属于同一个可通信的虚拟网络内，并且通过VPN在用户的其他数据中心和云平台之间建立的一条符合行业标准的安全加密通信通道，可将已有数据中心无缝扩展到云上。业务不中断，公网数据库数据迁移：其他云数据库和用户本地数据库迁移至华为云：RDS（云数据库）、DDS（文档数据库服务）、DDM（分布式数据库中间件）、GaussDB、GaussDB(for MySOL)、GaussDB(DWS)、CSS（云搜索服务）、GaussDB(for Mongo)。业务不中断，VPN/专线数据迁移：本地数据中心数据库迁移至华为云：RDS（云数据库）、DDS（文档数据库服务）、DDM（分布式数据库中间件）、GaussDB、GaussDB(for MySOL)、GaussDB(DWS)、CSS（云搜索服务）、GaussDB(for Mongo)。业务不中断，VPC网络内数据库数据迁移：华为云内，VPC网络自建数据库迁移至华为云：RDS（云数据库）、DDS（文档数据库服务）、DDM（分布式数据库中间件）、GaussDB、GaussDB(for MySOL)、GaussDB(DWS)、CSS（云搜索服务）、GaussDB(for Mongo)。三、DRS核心功能 DRS的核心功能： 1、实时迁移管理实时迁移，只需配置迁移的源、目标数据库实例及迁移对象即可自动完成整个数据迁移过程。实时迁移可通过增量迁移，将业务系统中断时间和影响最小化，实现数据库平滑迁移上云。特点:支持通过多种网络链路，实现跨云平台数据库迁移、云下数据库迁移上云或云上跨Region的数据库迁移等多种业务场景。 2、实时同步管理实时同步，是指在不同的系统之间实现关键业务数据的实时流动，不同于迁移，迁移数据库以整体搬迁为目的，同步则是维持不同业务系统之间数据的持续流动，常见的场景是: 实时分析、报表系统、数仓环境等。特点:聚焦在表和数据，并满足多种同步灵活性的需要，如多对一，一对多，不同表名之间同步数据等。 3、备份迁移管理备份迁移，通过将源数据库的数据导出成备份文件，上传至对象存储服务OBS，然后恢复到目标数据库。特点：在不暴露IP地址也不碰触源数据库的情况下，即可实现数据迁移，安全、可靠。 4、数据订阅管理数据订阅，获取数据库中关键业务的数据变化信息，然后通过数据订阅将这类信息缓存并提供统一的SDK接口，方便下游业务订阅、获取、并消费。特点：实现数据库与下游系统解耦，与业务流程解耦等。 5、实时灾备管理实时灾备，通过异地近实时的数据同步可以实现跨区，跨云，本地和云、混合云之间数据库形成灾备关系，提供一键主备倒换、数据比对、时延监控、数据补齐等容灾特性支持容灾演练、真实容灾等场景，支持主从灾备、主主灾备多种灾备架构。特点:异地远距离传输优化，围绕灾备提供特性，不同于业界基于简单的数据同步形成方案。无需预先投入巨额基础设施。四、小结 DRS可以解决企业业务不中断的数据迁移问题，同时DRS工具还提供预检查、迁移监控、数据一致性对比等配套能力。通过这些能力，华为云GaussDB已经在各大行项目中广泛应用，同时华为云数据库迁移解决方案是信通院数据库迁移评测中首个获得最高级迁移能力的厂商，华为云GaussDB数据库致力于通过技术，给客户提供一套安全放心的迁移解决方案。 ——结束

2023-07-17

GaussDB OLTP云数据库配套工具DDM

目录一、前言二、DDM定义三、DDM业务架构四、为什么需要DDM? 五、DDM特性六、DDM应用场景一、前言现在越来越多的企业应用在逐步向云平台迁移，同时这对云平台带了一个严峻的考验和挑战。但针对华为云GaussDB数据库，我们在生态方面做了比较健全的建设，同时自研了很多相应的原生态工具。本文我们主要介绍一下GaussDB 云数据库的配套工具DDM。二、DDM定义 DDM(Distributed Database Middleware)，是由华为云自主研发的云原生分布式数据库中间件，以服务的方式为应用提供对多个数据库实例进行分布式透明访问。彻底解决数据库可扩展性问题，实现海量数据的存储和高并发访问。三、DDM业务架构 DDM业务架构（来源华为云官网）： DDM业务架构：将底层的数据库引擎进行一个分布式的集中管理。应用服务访问DDM实例即可，无需关心底层分片式的数据库，所有的业务逻辑等都有DDM路由分发，从而让应用透明访问。作为管理员，可以通过DDM的控制台进行图形化管理，比如实例管理、平滑扩容、逻辑库管理等。作为开发人员，可以将开发的应用程序通过DDM控制台进行部署等。作为最终用户，只需要访问业务（应用）服务即可。四、为什么需要DDM? 以某个应用系统为例（从无到有，从有少量数据到大量数据甚至到海量数据）： 1、初始阶段，所有数据存放在一个数据库（服务器）中。 2、小规模(<500QPS或100TPS，读用户<100，写用户<10): 在单库中通过读写分离提升并发读的性能。 3、中规格(<5000QPS或1000TPS,读用户<5000，写用户<100): 垂直分库，将不同的业务分布到不同的数据库。 4、大规模以上(10000+QPS，10000+TPS 读用户10000+，写用户1000+): 数据分片，将数据表分到不同的数据库中。但是当业务扩展越来多、数据量越来越大时，这样的分片管理也会越来越复杂，因为你的数据库越来越多（分片）。中间件分片方案：优势: 应用0改动，与语言无关；对应用完全透明地进行数据库扩展；通过连接共享有效收敛连接数。劣势: 可能存在额外的时延。五、DDM特性 DDM采用存算分离架构，提供分库分表、读写分离、弹性扩容等能力，具有稳定可靠、高度可扩展、持续可运维的特点。服务器集群管理对用户完全透明，用户通过DDM管理控制台进行数据库运维与数据读写，提供类似传统单机数据库的使用体验。 1、DDM实现读写分离即插即用：自动实现读写分离，支持配置不同节点的性能权重应用透明：应用感觉仍是操作单节点，DB调整应用无感知高可用：主从切换或从节点故障对应用透明 2、DDM实现数据分片，应用0改动大表分片：支持按Hash等算法实现自动分片自动路由：根据分片规则，将SQL路由至真正的数据源连接复用:通过MySQL实例的连接池复用，大幅提升数据库并发访问能力 3、DDM实现数据库水平扩展，自动均衡数据无限扩展：支持分片个数无上限，轻松应对海量数据全自动化：一键式扩容，异常自动回滚业务影响小：秒级中断，其他时间业务无感知。六、DDM应用场景 DDM主要适用于大规模的数据存储与高并发访问的行业应用，例如： 1、互联网应用电商、金融、O2O、零售、社交应用等行业，普遍存在用户基数大、营销活动频繁、核心交易系统数据库响应日益变慢的问题，制约业务发展。DDM提供线性水平扩展能力，能够实时提升数据库处理能力，提高访问效率，轻松应对高并发的实时交易场景。 2、物联网数据在工业监控和远程控制、智慧城市的延展、智能家居、车联网等物联网场景下，传感监控设备多，采样频率高，数据规模大，会产生超过单机数据库存储能力极限的数据，造成数据库容量瓶颈。DDM提供的容量水平扩展能力，可以有效的帮助用户低成本的存储海量数据。 3、高性价比数据库解决方案政务机构、大型企业、银行等行业为了支持大规模数据存储和高并发数据库访问，传统方案需要强依赖小型机和高端存储等高成本的商业解决方案。DDM利用普通服务器进行集群部署，提供与传统商业解决方案相同甚至更高的处理能力。 ——结束

2023-07-14

GaussDB技术解读系列：高级压缩之OLTP表压缩

本文分享自华为云社区《DTCC 2023专家解读 | GaussDB技术解读系列：高级压缩之OLTP表压缩》，作者：GaussDB 数据库。

2023-08-23

大数据OLAP系统（3） OLTP和OLAP的区别

OLTP和OLAP的区别 OLTP（on-line transaction processing）翻译为联机事务处理，或者在线交易处理系统 OLAP（On-Line Analytical Processing

2021-03-04

为什么我还不推荐内存中OLTP给用户

遗憾的是内存中OLTP不能融入99%的所有环境。因此内存中OLTP有问题么，是什么我还不能推荐它给用户呢？

2017-11-12

复杂场景下图数据库的 OLTP 与 OLAP 融合实践

在一些图计算的场景下，我们会遇到同时需要处理 OLTP 和 OLAP 的问题。而本文就给了一个 OLTP 与 OLAP 融合实践的指导思路，希望给你带来一点启发。

2023-02-23

解读《Benchmarking Hybrid OLTP&OLAP Database Systems》| StoneDB学术分享会

当前市场中已经存在一些分别针对 OLTP 和 OLAP 工作负载广泛使用的标准化基准，但是却没有针对 OLTP 和 OLAP 混合负载的基准。

2022-09-09

OLTP新贵G家F1的替代者TiDB

HBase 简介众所周知，在 SQL 方面处于顶级的有两个公司，一个是Oracle，他们已经积累了大量的经验，另一个是谷歌，谷歌 F1 在2012年发布了一篇论文，个人认为它是全球最优秀的 SQL OLTP

2017-02-14

实时数据平台设计：解决从OLTP到OLAP实时流转缺失

2从典型数据处理角度看实时数据处理典型的数据处理，可分为OLTP、OLAP、Streaming、Adhoc、Machine Learning等。

2018-08-02

OLTP核心能力与2026选型指南

在数据库选型中，“交易型”和“分析型”是最常见的两个分类，但很多人分不清它们的本质区别。

2026-07-22

运维自动化之ansible playbook安装mysql tpcc测试OLTP能力

上周介绍了zabbix监控cdn带宽，这次在介绍一下ansible结合docker来一键化安装与测试mysql tpcc，然后通过tpcc测试OLTP系统性能。

2017-11-14

HTAP数据库 PostgreSQL 场景与性能测试之 2 - (OLTP) 多表JOIN

标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试背景 PostgreSQL是一个历史悠久的数据库，历史可以追溯到1973年，最早由2014计算机图灵奖得主，关系数据库的鼻祖

2017-11-11

HTAP数据库 PostgreSQL 场景与性能测试之 1 - (OLTP) 点查

2017-11-11

HTAP数据库 PostgreSQL 场景与性能测试之 22 - (OLTP) merge insert|upsert|insert on ...

2017-11-13

HTAP数据库 PostgreSQL 场景与性能测试之 28 - (OLTP) 高并发点更新

2017-11-13

解读阿里云数据库团队如何打通OLAP和OLTP任督二脉

本文由Postgres中国区主席、阿里云数据库专家萧少聪所写。发布会回顾：点此进入话题讨论：联姻Greenplum的HybridDB，是否能挑战AWS Redshift的霸主地位？以下为文章正文： 2016年我们可以看到，越来越多的互联网企业及新型的创业公司都已经开始基于云计算实现IT架构。阿里云在当前已经实现了平台化作为商业模式。简单来说，阿里云主要提供网络、计算、存储等服务，并以此来吸引 PaaS 和 SaaS 类的合作伙伴，同时自身又扮演者“应用超市”的角色，将自家及合作伙伴的 PaaS 或 SaaS 服务在其所建立的云计算平台上按需售卖给需要的客户。然而从整个IT市场来看，公共云计算业务只依然只占很小的一个比例，大量的传统企业业务依然使用自行部署的模式进行。这里有一个很重要的因数就是数据库上云难，企业的CTO及IT负责人往往

2016-12-11

OLTP数据库选型实战：从QPS 3000到8000，高并发写入瓶颈怎么破

背景是这样的：业务涨得猛，日活从50万翻到120万，QPS从3000飙到8000。应用层横向扩了好几轮，前端接口响应都挺快，但数据库连接池还是频繁打满。慢查询日志一个小时能涨几百条，告警群里全是红色消息。

2026-08-05

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。