首页 文章 精选 留言 我的

精选列表

搜索[after],共4355篇文章
优秀的个人博客,低调大师

Linux下“read failed after 0 of 4096 at 0: Input/output error”

1、故障描述( 在线移除一块被设置为pv格式的硬盘,提示unknown device报道): /dev/sdb1 /dev/sdc1 /dev/sdd1是组成/dev/vg_test/lvm_test的PV,这里我们模拟/dev/sdd1硬盘被直接断电了 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 [root@dockermnt] #pvdisplay /dev/sdd : read failedafter0of4096at0:Input /output error /dev/sdd : read failedafter0of4096at21474770944:Input /output error /dev/sdd : read failedafter0of4096at21474828288:Input /output error /dev/sdd : read failedafter0of4096at4096:Input /output error /dev/sdd1 : read failedafter0of512at21467824128:Input /output error /dev/sdd1 : read failedafter0of512at21467938816:Input /output error /dev/sdd1 : read failedafter0of512at0:Input /output error /dev/sdd1 : read failedafter0of512at4096:Input /output error /dev/sdd1 : read failedafter0of2048at0:Input /output error Couldn't find devicewithuuid166hLZ-2POl-GIsv-ELGh-8YVT-Zcoa-ZcLXzp. ---Physicalvolume--- PVName /dev/sdb1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes (butfull) PESize4.00MiB TotalPE5118 FreePE0 AllocatedPE5118 PVUUIDfuQdIY-qkJw-fZJB-AauO-Zqpj-91RI-S1GG0X ---Physicalvolume--- PVName /dev/sdc1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes PESize4.00MiB TotalPE5118 FreePE5116 AllocatedPE2 PVUUIDTRlpMQ-snM6-u24f-cMHa-oiVt-XJ3w-6fjAbp ---Physicalvolume--- PVNameunknowndevice VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes PESize4.00MiB TotalPE5118 FreePE5118 AllocatedPE0 PVUUID166hLZ-2POl-GIsv-ELGh-8YVT-Zcoa-ZcLXzp 1 [root@dockermnt] #vgreduce--removemissingvg_test 1 2 3 4 5 6 7 8 9 10 11 /dev/sdd : read failedafter0of4096at0:Input /output error /dev/sdd1 : read failedafter0of2048at0:Input /output error /dev/sdd : read failedafter0of4096at21474770944:Input /output error /dev/sdd : read failedafter0of4096at21474828288:Input /output error /dev/sdd : read failedafter0of4096at4096:Input /output error /dev/sdd1 : read failedafter0of512at21467824128:Input /output error /dev/sdd1 : read failedafter0of512at21467938816:Input /output error /dev/sdd1 : read failedafter0of512at0:Input /output error /dev/sdd1 : read failedafter0of512at4096:Input /output error Couldn't find devicewithuuid166hLZ-2POl-GIsv-ELGh-8YVT-Zcoa-ZcLXzp. Wroteoutconsistentvolumegroupvg_test 1 [root@dockermnt] #vgchange-ay 1 2 3 /dev/sdd : read failedafter0of4096at0:Input /output error /dev/sdd1 : read failedafter0of2048at0:Input /output error 1logicalvolume(s) in volumegroup "vg_test" nowactive 1 [root@dockermnt] #df-h 1 2 3 4 5 6 FilesystemSizeUsedAvailUse%Mountedon /dev/sda3 193G14G170G8%/ tmpfs1.9G228K1.9G1% /dev/shm /dev/sda1 190M80M100M45% /boot /dev/mapper/vg_test-lvm_test 20G28M19G1% /mnt 1 [root@dockermnt] #pvdisplay 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 /dev/sdd : read failedafter0of4096at0:Input /output error /dev/sdd : read failedafter0of4096at21474770944:Input /output error /dev/sdd : read failedafter0of4096at21474828288:Input /output error /dev/sdd : read failedafter0of4096at4096:Input /output error /dev/sdd1 : read failedafter0of512at21467824128:Input /output error /dev/sdd1 : read failedafter0of512at21467938816:Input /output error /dev/sdd1 : read failedafter0of512at0:Input /output error /dev/sdd1 : read failedafter0of512at4096:Input /output error /dev/sdd1 : read failedafter0of2048at0:Input /output error ---Physicalvolume--- PVName /dev/sdb1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes (butfull) PESize4.00MiB TotalPE5118 FreePE0 AllocatedPE5118 PVUUIDfuQdIY-qkJw-fZJB-AauO-Zqpj-91RI-S1GG0X ---Physicalvolume--- PVName /dev/sdc1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes PESize4.00MiB TotalPE5118 FreePE5116 AllocatedPE2 PVUUIDTRlpMQ-snM6-u24f-cMHa-oiVt-XJ3w-6fjAbp 发现仍旧有I/O的错误出现,跳过重启系统,故障得到解决(这里注意重启前检查fatab信息,看下mount -a是否有报错)。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 [root@docker~] #pvdisplay ---Physicalvolume--- PVName /dev/sdb1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes (butfull) PESize4.00MiB TotalPE5118 FreePE0 AllocatedPE5118 PVUUIDfuQdIY-qkJw-fZJB-AauO-Zqpj-91RI-S1GG0X ---Physicalvolume--- PVName /dev/sdc1 VGNamevg_test PVSize19.99GiB/notusable1.43MiB Allocatable yes PESize4.00MiB TotalPE5118 FreePE5116 AllocatedPE2 PVUUIDTRlpMQ-snM6-u24f-cMHa-oiVt-XJ3w-6fjAbp 本文转自 冰冻vs西瓜 51CTO博客,原文链接:http://blog.51cto.com/molewan/1748466,如需转载请自行联系原作者

优秀的个人博客,低调大师

聊Oracle日志解析,绕不开两个词:前镜像(Before Image) 和后镜像(After Image)

第一次听到这两个词的时候,很多人会以为是什么高深的概念。其实说白了很简单: - **前镜像**:数据修改之前长什么样 - **后镜像**:数据修改之后长什么样 但问题在于——**这两个东西在redo log里到底是怎么存的?CDC解析的时候到底该用哪个?** 这篇文章把这件事聊透。 ### 前镜像和后镜像,到底存在哪? redo log里,每个Change Vector的Body部分,存的就是变更的具体数据。 以一条UPDATE为例: ```sql UPDATE employees SET salary = 8000 WHERE employee_id = 1001; ``` 假设修改前salary是5000。这个Change Vector的Body里,会记录: - **前镜像**:employee_id=1001这一行的原始数据(salary=5000,以及其他列的值) - **后镜像**:修改后的数据(salary=8000,以及其他列的值) **但这里有一个很容易被忽略的细节:前镜像和后镜像不一定都完整。** Oracle的redo log里,前镜像的完整性取决于**补充日志(Supplemental Logging)** 的配置。 ### 补充日志:前镜像完整性的开关 Oracle默认不记录完整的前镜像。它只记录**修改涉及的列的前后值**。 比如你执行`UPDATE employees SET salary = 8000 WHERE employee_id = 1001`,默认情况下: - 前镜像:只记录了employee_id和salary的旧值 - 后镜像:只记录了employee_id和salary的新值 其他列(比如name、department、hire_date)不记录。 **这意味着什么?** 如果你只靠redo log来还原数据变更,你拿到的是一个“残缺”的前镜像——只知道哪一行的哪个字段被改了,但不知道这一行的完整数据长什么样。 要拿到完整的前镜像,必须开启**补充日志**。 补充日志有几个级别: - **最小补充日志(Minimal)** :默认级别,只记录必要的信息 - **主键补充日志(Primary Key)** :额外记录主键列的值 - **唯一键补充日志(Unique Key)** :额外记录唯一键列的值 - **全列补充日志(All Columns)** :记录所有列的前镜像 `ALL_COLUMNS`级别的补充日志,会让redo log里记录每一行的完整前镜像。但这会显著增加redo log的大小——可能增加20%-50%的日志量。 **这就是为什么CDC方案通常要求开启补充日志。** LogMiner需要前镜像来重构完整的行数据,Debezium和Flink CDC的文档里也都明确要求开启`ALL_COLUMNS`补充日志。 ### 前镜像和后镜像,CDC到底用哪个? 答案是:**两个都用,但用途不同。** **后镜像用于同步。** CDC的核心目标是“把源库的变更同步到目标端”。后镜像是修改之后的值——目标端需要的就是这个值。你拿到后镜像,就知道目标端应该把这一行改成什么样。 **前镜像用于判断和回滚。** 前镜像虽然不直接同步到目标端,但在解析过程中有非常重要的作用: **第一,判断事务是否回滚。** 如果一个事务最终回滚了,redo里会有OP 5.1(撤销修改)的Change Vector。这个Change Vector的Body里存的就是前镜像——Oracle要把数据恢复到修改之前的状态。解析器看到OP 5.1,就知道这个事务要回滚,所有变更都不应该输出。 **第二,处理UPDATE的WHERE条件。** LogMiner在重构SQL的时候,需要用前镜像来构造WHERE条件。比如`UPDATE employees SET salary = 8000 WHERE employee_id = 1001`,LogMiner需要从Change Vector里提取employee_id的旧值来拼出WHERE子句。 **第三,处理链式变更。** 如果同一行数据在一个事务里被修改了多次(UPDATE→UPDATE→UPDATE),前镜像和后镜像会形成一条链。解析器需要按顺序应用这些变更,才能得到最终结果。 **第四,处理行迁移和行链接。** 如果一行数据太大,跨了多个数据块,前镜像可以帮助解析器识别和还原完整的行数据。 ### 实际解析中,前镜像和后镜像会遇到哪些坑? **第一个坑:前镜像不完整。** 如果没有开启补充日志,前镜像只包含修改涉及的列,其他列是空的。这时候你拿到的UPDATE变更,只知道salary从5000改成了8000,但不知道这一行的其他字段是什么。 对于CDC来说,这通常不是问题——你只需要同步变更的字段。但如果目标端需要完整的行数据(比如做全量比对),前镜像不完整就会导致数据缺失。 **第二个坑:大字段的前镜像被截断。** 对于BLOB、CLOB这些大字段,前镜像和后镜像可能不是完整的——redo log里可能只记录了locator的变更,实际数据在别的数据块里。解析器需要跟踪这些数据块的变更,把完整的数据拼出来。 **第三个坑:LONG类型的前镜像不记录。** Oracle的LONG类型在redo log里不记录前镜像——这是一个历史遗留问题。LogMiner不支持LONG类型,很大程度上就是因为前镜像不完整。 **第四个坑:虚拟列没有前镜像。** 虚拟列的值是计算出来的,redo log里不记录虚拟列本身的前后镜像。解析器需要拿到依赖列的值,然后按照虚拟列的定义自己计算。 **第五个坑:行迁移导致的前镜像跨块。** 如果一行数据被迁移到了新的数据块,前镜像和后镜像可能分布在不同的块里。解析器需要能跨块关联,把完整的数据拼出来。 ### LogMiner怎么处理前镜像和后镜像? LogMiner在处理前镜像和后镜像的时候,有一个关键的限制:**它需要连接数据库,依赖数据字典。** 具体来说,LogMiner拿到Change Vector之后,需要: 1. 从Change Vector里提取前镜像和后镜像 2. 根据对象ID去数据字典里查这个表的结构——有哪些列、什么类型、什么顺序 3. 按列的顺序和类型,把前镜像和后镜像解码成可读的值 4. 拼成SQL语句(`SQL_REDO`和`SQL_UNDO`) 这个过程有几个问题: **第一,必须连接数据库。** 没有数据字典,LogMiner只能返回内部对象ID和十六进制数据,根本没法用。 **第二,字典必须是最新的。** 如果表结构变了(加了列、改了类型),LogMiner的字典必须同步更新,否则解析出来的数据就是错的。 **第三,某些类型处理不了。** 前面说的BLOB、CLOB、XMLTYPE这些,LogMiner拿到前镜像和后镜像之后,不知道怎么解码,直接标记为NULL或UNSUPPORTED。 ### 裸日志解析怎么处理前镜像和后镜像? 直接解析二进制的时候,前镜像和后镜像的处理逻辑是自己控制的。 **核心思路:不依赖数据字典,按二进制格式直接解码。** 具体来说: **第一,识别Change Vector的类型。** 通过OP Code判断这是INSERT、UPDATE还是DELETE。INSERT没有前镜像,DELETE没有后镜像,UPDATE两个都有。 **第二,解析Body里的二进制数据。** Change Vector的Body里,前镜像和后镜像按列顺序排列。每一列的编码方式由数据类型决定——NUMBER有NUMBER的编码,VARCHAR2有VARCHAR2的编码。 **第三,自己维护类型映射。** 不依赖Oracle的数据字典,自己维护表和列的元数据。列的顺序、类型、长度,全部自己管理。这样就不会受LogMiner字典翻译层的限制。 **第四,按类型逐列解码。** NUMBER类型按Oracle的NUMBER编码规则解码,VARCHAR2按字符集解码,DATE按7字节格式解码,BLOB/CLOB按locator关联实际数据块解码。 **第五,处理回滚判断。** 读到OP 5.1(撤销修改)时,把对应的前镜像应用到已经解析的变更上,把数据恢复到修改前的状态。如果整个事务最终回滚,所有变更都不输出。 > 我们团队在做TLA的时候,前镜像和后镜像的解析就是按这个思路实现的。自己维护列的类型和顺序,自己按二进制格式解码,不依赖LogMiner的字典翻译层。所以BLOB、CLOB、XMLTYPE这些LogMiner不支持的类型,我们都能处理。流式解析,不缓存整个事务,大事务也不会OOM。 ### 一个容易搞混的点 **前镜像不是“上一行的值”,后镜像不是“下一行的值”。** 前镜像和后镜像是针对**同一个数据块、同一行数据**的修改前后状态。不是两个不同行的值。 **前镜像不一定完整。** 取决于补充日志的配置。默认情况下只记录修改涉及的列。 **后镜像也不一定完整。** 对于大字段,后镜像可能只是locator,不是完整数据。 **前镜像和后镜像可能不在同一个Change Vector里。** 一个大的UPDATE可能被拆成多个Change Vector,前镜像和后镜像分散在不同的record里。 ### 说句实在话 前镜像和后镜像,名字听起来很学术,其实本质很简单——就是修改前和修改后的数据。 但在实际解析中,这两个东西涉及的问题很多:补充日志的配置、数据类型的处理、大字段的关联、回滚的判断、行迁移的处理…… 套壳LogMiner的方案,把这些事情交给了LogMiner。代价是:需要连接数据库、依赖数据字典、不支持某些类型、大事务OOM。 裸日志解析的方案,自己处理前镜像和后镜像的解析。难走,但走通了就不受任何人限制。 这是“LogMiner vs 裸日志解析”系列的第三篇。后面会继续聊其他几个坑——大事务OOM、SCN追不上、在线日志读写冲突,等等。 欢迎交流。 --- *补充:文中提到的补充日志配置和数据类型处理方式基于Oracle主流版本的通用机制,不同版本可能有细微差异。实际解析时需要根据目标版本做适配。*

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

用户登录
用户注册