搜索[水平分库]结果-低调大师优秀个人博客

数据库分布式架构巧设计，水平拆分不再难

在分享中，他主要介绍了水平拆分的原则以及解决方案，分享了DRDS的架构与实践。以下内容根据直播视频整理而成。分布式需求为什么要做分布式？

2017-06-15

Android单个控件占父控件宽度一半且水平居中

前些天，在工作中遇到了一个需求：一个“加载上一页”的按钮宽度为父控件宽度一半，且水平居中于父控件中。

2017-01-29

Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。

2022-07-19

【ShardingSphere技术专题】「ShardingJDBC」SpringBoot之整合ShardingJDBC实现分库分表（JavaConfig方式）

详细一点的介绍直接看官网：https://shardingsphere.apache.org/document/current/cn/overview/ SQL语句相关逻辑表：水平拆分的数据库（表）的相同逻辑和数据结构表的总称

2021-08-19

基于AOP和HashMap原理学习，开发Mysql分库分表路由组件！

首先我们要知道为什么要用分库分表，其实就是由于业务体量较大，数据增长较快，所以需要把用户数据拆分到不同的库表中去，减轻数据库压力。

2021-08-17

【ShardingSphere】springboot整合shardingjdbc使用精确分片算法自定义分库分表

上两篇文章讲到了两种分库分表的方式，这两种方式可以归结为一种类型，都是通过配置的形式来分片数据。

2021-06-11

项目环境： 192.168.8.30 mycat 192.168.8.31 node1 192.168.8.32 node2 192.168.8.33 node3 三个节点MySQL均为单实例一、当前分片信息配置 schema.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 <?xmlversion="1.0"?> <!DOCTYPEmycat:schemaSYSTEM"schema.dtd"> <mycat:schemaxmlns:mycat=" <schemaname="mycatdb"checkSQLschema="false"sqlMaxLimit="100"> <tablename="user04"dataNode="dn$1-3,dn$13-15,dn$25-27"rule="sharding-by-murmur-user04-id"></table> </schema>  <dataNodename="dn1"dataHost="node1"database="testdb01"/> <dataNodename="dn2"dataHost="node1"database="testdb02"/> <dataNodename="dn3"dataHost="node1"database="testdb03"/> <dataNodename="dn13"dataHost="node2"database="testdb13"/> <dataNodename="dn14"dataHost="node2"database="testdb14"/> <dataNodename="dn15"dataHost="node2"database="testdb15"/> <dataNodename="dn25"dataHost="node3"database="testdb25"/> <dataNodename="dn26"dataHost="node3"database="testdb26"/> <dataNodename="dn27"dataHost="node3"database="testdb27"/>  <dataHostname="node1"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.31"url="192.168.8.31:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node2"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.32"url="192.168.8.32:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node3"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.33"url="192.168.8.33:3306"user="root"password="mysql"></writeHost> </dataHost> </mycat:schema> rule.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 <tableRulename="sharding-by-murmur-user04-id"> <rule> <columns>id</columns> <algorithm>murmur-id</algorithm> </rule> </tableRule> <functionname="murmur-id"class="io.mycat.route.function.PartitionByMurmurHash"> <propertyname="seed">0</property> <propertyname="type">0</property> <propertyname="count">9</property> <propertyname="virtualBucketTimes">160</property> </function> 当前user04进行hash分区，共9个分片，存放在9个物理库。二、数据查看 node1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 mysql>select*fromtestdb01.user04; +----+--------+ |id|name| +----+--------+ |8|steven| |14|steven| |16|steven| |17|steven| |34|steven| |49|steven| +----+--------+ 6rowsinset(0.00sec) mysql>select*fromtestdb02.user04; +----+--------+ |id|name| +----+--------+ |9|steven| |10|steven| |44|steven| |45|steven| |46|steven| |48|steven| +----+--------+ 6rowsinset(0.06sec) mysql>select*fromtestdb03.user04; +----+--------+ |id|name| +----+--------+ |11|steven| |24|steven| |33|steven| |35|steven| |40|steven| +----+--------+ 5rowsinset(0.07sec) node2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 mysql>select*fromtestdb13.user04; +----+--------+ |id|name| +----+--------+ |20|steven| |25|steven| |38|steven| |39|steven| +----+--------+ 4rowsinset(0.07sec) mysql>select*fromtestdb14.user04; +----+--------+ |id|name| +----+--------+ |1|steven| |41|steven| |50|steven| +----+--------+ 3rowsinset(0.03sec) mysql>select*fromtestdb15.user04; +----+--------+ |id|name| +----+--------+ |12|steven| |18|steven| |32|steven| |36|steven| +----+--------+ 4rowsinset(0.12sec) node3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 mysql>select*fromtestdb25.user04; +----+--------+ |id|name| +----+--------+ |6|steven| |13|steven| |19|steven| |23|steven| |27|steven| |28|steven| |29|steven| |31|steven| |37|steven| +----+--------+ 9rowsinset(0.05sec) mysql>select*fromtestdb26.user04; +----+--------+ |id|name| +----+--------+ |4|steven| |5|steven| |15|steven| |22|steven| |42|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb27.user04; +----+--------+ |id|name| +----+--------+ |2|steven| |3|steven| |7|steven| |21|steven| |26|steven| |30|steven| |43|steven| |47|steven| +----+--------+ 8rowsinset(0.06sec) 下面增加9个分片，重新进行配置三、配置schema.xml，rule.xml 复制schema.xml、rule.xml并重命名为newSchema.xml、newRule.xml放于conf目录下，修改newSchema.xml和newRule.xml配置文件为扩容后的mycat配置参数(表的节点数、数据源、路由规则） newSchema.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 <?xmlversion="1.0"?> <!DOCTYPEmycat:schemaSYSTEM"schema.dtd"> <mycat:schemaxmlns:mycat=" <schemaname="mycatdb"checkSQLschema="false"sqlMaxLimit="100"> <tablename="user04"dataNode="dn$1-6,dn$13-18,dn$25-30"rule="sharding-by-murmur-user04-id"></table> </schema>  <dataNodename="dn1"dataHost="node1"database="testdb01"/> <dataNodename="dn2"dataHost="node1"database="testdb02"/> <dataNodename="dn3"dataHost="node1"database="testdb03"/> <dataNodename="dn4"dataHost="node1"database="testdb04"/> <dataNodename="dn5"dataHost="node1"database="testdb05"/> <dataNodename="dn6"dataHost="node1"database="testdb06"/> <dataNodename="dn13"dataHost="node2"database="testdb13"/> <dataNodename="dn14"dataHost="node2"database="testdb14"/> <dataNodename="dn15"dataHost="node2"database="testdb15"/> <dataNodename="dn16"dataHost="node2"database="testdb16"/> <dataNodename="dn17"dataHost="node2"database="testdb17"/> <dataNodename="dn18"dataHost="node2"database="testdb18"/> <dataNodename="dn25"dataHost="node3"database="testdb25"/> <dataNodename="dn26"dataHost="node3"database="testdb26"/> <dataNodename="dn27"dataHost="node3"database="testdb27"/> <dataNodename="dn28"dataHost="node3"database="testdb28"/> <dataNodename="dn29"dataHost="node3"database="testdb29"/> <dataNodename="dn30"dataHost="node3"database="testdb30"/>  <dataHostname="node1"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.31"url="192.168.8.31:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node2"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.32"url="192.168.8.32:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node3"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.33"url="192.168.8.33:3306"user="root"password="mysql"></writeHost> </dataHost> </mycat:schema> newRule.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 <tableRulename="sharding-by-murmur-user04-id"> <rule> <columns>id</columns> <algorithm>murmur-id</algorithm> </rule> </tableRule> <functionname="murmur-id"class="io.mycat.route.function.PartitionByMurmurHash"> <propertyname="seed">0</property> <propertyname="type">0</property> <propertyname="count">18</property> <propertyname="virtualBucketTimes">160</property> </function> 将分片数量改为18 四、修改migrateTables.properties 1 2 3 4 5 6 #schema1=tb1,tb2,... #schema2=all（写all或者不写将对此schema下拆分节点变化的拆分表全部进行重新路由） #... #sample #TESTDB=travelrecord,company,goods mycatdb=user04 五、重新分区修改 bin 目录下的 dataMigrate.sh 脚本文件， ../bin/dataMigrate.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 [root@mycatconf]#../bin/dataMigrate.sh "/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java"-DMYCAT_HOME="/usr/local/mycat"-classpath"/usr/local/mycat/conf:/usr/local/mycat/lib/classes:/usr/local/mycat/lib/asm-4.0.jar:/usr/local/mycat/lib/commons-collections-3.2.1.jar:/usr/local/mycat/lib/commons-lang-2.6.jar:/usr/local/mycat/lib/curator-client-2.11.0.jar:/usr/local/mycat/lib/curator-framework-2.11.0.jar:/usr/local/mycat/lib/curator-recipes-2.11.0.jar:/usr/local/mycat/lib/disruptor-3.3.4.jar:/usr/local/mycat/lib/dom4j-1.6.1.jar:/usr/local/mycat/lib/druid-1.0.26.jar:/usr/local/mycat/lib/ehcache-core-2.6.11.jar:/usr/local/mycat/lib/fastjson-1.2.12.jar:/usr/local/mycat/lib/guava-19.0.jar:/usr/local/mycat/lib/hamcrest-core-1.3.jar:/usr/local/mycat/lib/hamcrest-library-1.3.jar:/usr/local/mycat/lib/jline-0.9.94.jar:/usr/local/mycat/lib/joda-time-2.9.3.jar:/usr/local/mycat/lib/jsr305-2.0.3.jar:/usr/local/mycat/lib/kryo-2.10.jar:/usr/local/mycat/lib/leveldb-0.7.jar:/usr/local/mycat/lib/leveldb-api-0.7.jar:/usr/local/mycat/lib/log4j-1.2.17.jar:/usr/local/mycat/lib/log4j-1.2-api-2.5.jar:/usr/local/mycat/lib/log4j-api-2.5.jar:/usr/local/mycat/lib/log4j-core-2.5.jar:/usr/local/mycat/lib/log4j-slf4j-impl-2.5.jar:/usr/local/mycat/lib/mapdb-1.0.7.jar:/usr/local/mycat/lib/minlog-1.2.jar:/usr/local/mycat/lib/mongo-java-driver-2.11.4.jar:/usr/local/mycat/lib/Mycat-server-1.6.6.1-release.jar:/usr/local/mycat/lib/mysql-binlog-connector-java-0.16.1.jar:/usr/local/mycat/lib/mysql-connector-java-5.1.35.jar:/usr/local/mycat/lib/netty-3.7.0.Final.jar:/usr/local/mycat/lib/netty-buffer-4.1.9.Final.jar:/usr/local/mycat/lib/netty-common-4.1.9.Final.jar:/usr/local/mycat/lib/objenesis-1.2.jar:/usr/local/mycat/lib/reflectasm-1.03.jar:/usr/local/mycat/lib/sequoiadb-driver-1.12.jar:/usr/local/mycat/lib/slf4j-api-1.6.1.jar:/usr/local/mycat/lib/univocity-parsers-2.2.1.jar:/usr/local/mycat/lib/velocity-1.7.jar:/usr/local/mycat/lib/wrapper.jar:/usr/local/mycat/lib/zookeeper-3.4.6.jar"-server-Xms2G-Xmx2G-XX:MaxPermSize=64M-XX:+AggressiveOpts-XX:MaxDirectMemorySize=2Gio.mycat.util.dataMigrator.DataMigrator-tempFileDir=-isAwaysUseMaster=true-mysqlBin=-cmdLength=110*1024-charset=utf8-deleteTempFileDir=true-threadCount=-delThreadCount=-queryPageSize= OpenJDK64-BitServerVMwarning:ignoringoptionMaxPermSize=64M;supportwasremovedin8.0 2018-11-2317:25:57:664[1]->creatingmigratorscheduleandtempfilesformigrate... +---------------------------------------------[mycatdb:user04]migrateinfo---------------------------------------------+ |tableSize=50| |migratebefore=[dn1,dn2,dn3,dn13,dn14,dn15,dn25,dn26,dn27]| |migrateafter=[dn1,dn2,dn3,dn4,dn5,dn6,dn13,dn14,dn15,dn16,dn17,dn18,dn25,dn26,dn27,dn28,dn29,dn30]| |rulefunction=PartitionByMurmurHash| +-----------------------------------------------------------------------------------------------------------------------+ +----------------[mycatdb:user04]migrateschedule----------------+ |dn13[4]->[0,0,0,3,0,0,0,0,0,0,1,0,0,0,0,0,0,0]| |dn14[3]->[0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,2,0]| |dn15[4]->[0,0,0,0,0,2,0,0,0,0,1,0,1,0,0,0,0,0]| |dn1[6]->[0,0,0,0,0,0,0,0,0,0,2,0,0,1,0,0,0,1]| |dn25[9]->[0,0,0,0,0,0,5,0,0,1,0,1,0,0,1,0,0,1]| |dn26[5]->[0,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,1,0]| |dn27[8]->[0,0,0,0,0,0,0,0,5,0,0,0,1,1,0,0,0,0]| |dn2[6]->[0,0,0,0,0,0,0,0,0,0,1,1,1,0,0,1,0,0]| |dn3[5]->[0,0,0,0,0,0,0,0,0,1,0,0,1,0,0,0,1,0]| +-----------------------------------------------------------------+ 2018-11-2317:26:10:896[2]->startmigratedata... [mycatdb:user04]dn1->dn26completedin740ms [mycatdb:user04]dn1->dn17completedin792ms [mycatdb:user04]dn1->dn30completedin472ms [mycatdb:user04]dn2->dn17completedin474ms [mycatdb:user04]dn2->dn18completedin400ms [mycatdb:user04]dn2->dn25completedin458ms [mycatdb:user04]dn2->dn28completedin388ms [mycatdb:user04]dn3->dn16completedin477ms [mycatdb:user04]dn3->dn25completedin410ms [mycatdb:user04]dn3->dn29completedin423ms [mycatdb:user04]dn13->dn4completedin455ms [mycatdb:user04]dn13->dn17completedin483ms [mycatdb:user04]dn14->dn27completedin496ms [mycatdb:user04]dn14->dn29completedin449ms [mycatdb:user04]dn15->dn6completedin399ms [mycatdb:user04]dn15->dn17completedin395ms [mycatdb:user04]dn15->dn25completedin512ms [mycatdb:user04]dn25->dn13completedin486ms [mycatdb:user04]dn25->dn16completedin473ms [mycatdb:user04]dn25->dn18completedin375ms [mycatdb:user04]dn25->dn30completedin395ms [mycatdb:user04]dn25->dn27completedin482ms [mycatdb:user04]dn26->dn17completedin422ms [mycatdb:user04]dn26->dn14completedin495ms [mycatdb:user04]dn26->dn25completedin440ms [mycatdb:user04]dn26->dn28completedin438ms [mycatdb:user04]dn26->dn29completedin424ms [mycatdb:user04]dn27->dn15completedin438ms [mycatdb:user04]dn27->dn25completedin404ms [mycatdb:user04]dn27->dn26completedin396ms 2018-11-2317:26:18:106[3]->cleaningredundantdata... [mycatdb:user04]cleandataNodedn2completedin97ms [mycatdb:user04]cleandataNodedn3completedin130ms [mycatdb:user04]cleandataNodedn2completedin201ms [mycatdb:user04]cleandataNodedn3completedin279ms [mycatdb:user04]cleandataNodedn1completedin243ms [mycatdb:user04]cleandataNodedn1completedin274ms [mycatdb:user04]cleandataNodedn3completedin200ms [mycatdb:user04]cleandataNodedn1completedin187ms [mycatdb:user04]cleandataNodedn2completedin199ms [mycatdb:user04]cleandataNodedn2completedin183ms [mycatdb:user04]cleandataNodedn15completedin120ms [mycatdb:user04]cleandataNodedn15completedin146ms [mycatdb:user04]cleandataNodedn13completedin155ms [mycatdb:user04]cleandataNodedn13completedin223ms [mycatdb:user04]cleandataNodedn14completedin166ms [mycatdb:user04]cleandataNodedn14completedin234ms [mycatdb:user04]cleandataNodedn15completedin221ms [mycatdb:user04]cleandataNodedn25completedin111ms [mycatdb:user04]cleandataNodedn27completedin118ms [mycatdb:user04]cleandataNodedn25completedin152ms [mycatdb:user04]cleandataNodedn26completedin186ms [mycatdb:user04]cleandataNodedn27completedin149ms [mycatdb:user04]cleandataNodedn26completedin182ms [mycatdb:user04]cleandataNodedn25completedin183ms [mycatdb:user04]cleandataNodedn26completedin208ms [mycatdb:user04]cleandataNodedn25completedin164ms [mycatdb:user04]cleandataNodedn27completedin207ms [mycatdb:user04]cleandataNodedn25completedin242ms [mycatdb:user04]cleandataNodedn26completedin179ms [mycatdb:user04]cleandataNodedn26completedin129ms 2018-11-2317:26:21:423[4]->validatingtablesmigrateresult... +------migrateresult-------+ |[mycatdb:user04]->success| +---------------------------+ 2018-11-2317:26:22:385migratedatacompletein24736ms 六、重命名newSchema.xml和newRule.xml 扩容成功后，将newSchema.xml和newRule.xml重命名为schema.xml和rule.xml并替换掉原文件，重启mycat服务，整个扩容过程完成。七、验证数据 node1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 mysql>select*fromtestdb01.user04; +----+--------+ |id|name| +----+--------+ |16|steven| |49|steven| +----+--------+ 2rowsinset(0.01sec) mysql>select*fromtestdb02.user04; +----+--------+ |id|name| +----+--------+ |46|steven| |48|steven| +----+--------+ 2rowsinset(0.00sec) mysql>select*fromtestdb03.user04; +----+--------+ |id|name| +----+--------+ |24|steven| |40|steven| +----+--------+ 2rowsinset(0.00sec) mysql>select*fromtestdb04.user04; +----+--------+ |id|name| +----+--------+ |20|steven| |25|steven| |39|steven| +----+--------+ 3rowsinset(0.00sec) mysql>select*fromtestdb05.user04; Emptyset(0.01sec) mysql>select*fromtestdb06.user04; +----+--------+ |id|name| +----+--------+ |32|steven| |36|steven| +----+--------+ 2rowsinset(0.00sec) node2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 mysql>select*fromtestdb13.user04; +----+--------+ |id|name| +----+--------+ |6|steven| |19|steven| |23|steven| |28|steven| |29|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb14.user04; +----+--------+ |id|name| +----+--------+ |5|steven| +----+--------+ 1rowinset(0.00sec) mysql>select*fromtestdb15.user04; +----+--------+ |id|name| +----+--------+ |7|steven| |26|steven| |30|steven| |43|steven| |47|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb16.user04; +----+--------+ |id|name| +----+--------+ |33|steven| |37|steven| +----+--------+ 2rowsinset(0.00sec) mysql>select*fromtestdb17.user04; +----+--------+ |id|name| +----+--------+ |10|steven| |12|steven| |14|steven| |15|steven| |34|steven| |38|steven| +----+--------+ 6rowsinset(0.01sec) mysql>select*fromtestdb18.user04; +----+--------+ |id|name| +----+--------+ |31|steven| |45|steven| +----+--------+ 2rowsinset(0.00sec) node3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 mysql>select*fromtestdb25.user04; +----+--------+ |id|name| +----+--------+ |2|steven| |18|steven| |22|steven| |35|steven| |44|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb26.user04; +----+--------+ |id|name| +----+--------+ |3|steven| |17|steven| +----+--------+ 2rowsinset(0.00sec) mysql>select*fromtestdb27.user04; +----+--------+ |id|name| +----+--------+ |21|steven| |27|steven| |41|steven| +----+--------+ 3rowsinset(0.00sec) mysql>select*fromtestdb28.user04; +----+--------+ |id|name| +----+--------+ |9|steven| |42|steven| +----+--------+ 2rowsinset(0.00sec) mysql>select*fromtestdb29.user04; +----+--------+ |id|name| +----+--------+ |1|steven| |4|steven| |11|steven| |50|steven| +----+--------+ 4rowsinset(0.00sec) mysql>select*fromtestdb30.user04; +----+--------+ |id|name| +----+--------+ |8|steven| |13|steven| +----+--------+ 2rowsinset(0.00sec) 可以看到user04分片由原来的9个分片变成了18个分片，验证完毕。下面我们将缩减分片至9个分片八、配置schema.xml，rule.xml 复制schema.xml、rule.xml并重命名为newSchema.xml、newRule.xml放于conf目录下，修改newSchema.xml和newRule.xml配置文件为缩容后的mycat配置参数(表的节点数、数据源、路由规则） newSchema.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 <?xmlversion="1.0"?> <!DOCTYPEmycat:schemaSYSTEM"schema.dtd"> <mycat:schemaxmlns:mycat=" <schemaname="mycatdb"checkSQLschema="false"sqlMaxLimit="100"> <tablename="user04"dataNode="dn$1-3,dn$13-15,dn$25-27"rule="sharding-by-murmur-user04-id"></table> <tablename="user05"dataNode="dn$1-36"rule="sharding-by-date-adddate"></table> <tablename="user06"dataNode="dn$1-36"rule="sharding-by-month-adddate"></table> <tablename="user07"dataNode="dn$1-36"rule="sharding-by-hour-adddate"></table> </schema>  <dataNodename="dn1"dataHost="node1"database="testdb01"/> <dataNodename="dn2"dataHost="node1"database="testdb02"/> <dataNodename="dn3"dataHost="node1"database="testdb03"/> <dataNodename="dn13"dataHost="node2"database="testdb13"/> <dataNodename="dn14"dataHost="node2"database="testdb14"/> <dataNodename="dn15"dataHost="node2"database="testdb15"/> <dataNodename="dn25"dataHost="node3"database="testdb25"/> <dataNodename="dn26"dataHost="node3"database="testdb26"/> <dataNodename="dn27"dataHost="node3"database="testdb27"/>  <dataHostname="node1"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.31"url="192.168.8.31:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node2"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.32"url="192.168.8.32:3306"user="root"password="mysql"></writeHost> </dataHost> <dataHostname="node3"maxCon="1000"minCon="10"balance="1" writeType="0"dbType="mysql"dbDriver="native"switchType="1"slaveThreshold="100"> <heartbeat>selectuser()</heartbeat>  <writeHosthost="192.168.8.33"url="192.168.8.33:3306"user="root"password="mysql"></writeHost> </dataHost> </mycat:schema> newRule.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 <tableRulename="sharding-by-murmur-user04-id"> <rule> <columns>id</columns> <algorithm>murmur-id</algorithm> </rule> </tableRule> <functionname="murmur-id"class="io.mycat.route.function.PartitionByMurmurHash"> <propertyname="seed">0</property> <propertyname="type">0</property> <propertyname="count">9</property> <propertyname="virtualBucketTimes">160</property> </function> 九、重新分区修改 bin 目录下的 dataMigrate.sh 脚本文件， ../bin/dataMigrate.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 [root@mycatconf]#../bin/dataMigrate.sh "/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java"-DMYCAT_HOME="/usr/local/mycat"-classpath"/usr/local/mycat/conf:/usr/local/mycat/lib/classes:/usr/local/mycat/lib/asm-4.0.jar:/usr/local/mycat/lib/commons-collections-3.2.1.jar:/usr/local/mycat/lib/commons-lang-2.6.jar:/usr/local/mycat/lib/curator-client-2.11.0.jar:/usr/local/mycat/lib/curator-framework-2.11.0.jar:/usr/local/mycat/lib/curator-recipes-2.11.0.jar:/usr/local/mycat/lib/disruptor-3.3.4.jar:/usr/local/mycat/lib/dom4j-1.6.1.jar:/usr/local/mycat/lib/druid-1.0.26.jar:/usr/local/mycat/lib/ehcache-core-2.6.11.jar:/usr/local/mycat/lib/fastjson-1.2.12.jar:/usr/local/mycat/lib/guava-19.0.jar:/usr/local/mycat/lib/hamcrest-core-1.3.jar:/usr/local/mycat/lib/hamcrest-library-1.3.jar:/usr/local/mycat/lib/jline-0.9.94.jar:/usr/local/mycat/lib/joda-time-2.9.3.jar:/usr/local/mycat/lib/jsr305-2.0.3.jar:/usr/local/mycat/lib/kryo-2.10.jar:/usr/local/mycat/lib/leveldb-0.7.jar:/usr/local/mycat/lib/leveldb-api-0.7.jar:/usr/local/mycat/lib/log4j-1.2.17.jar:/usr/local/mycat/lib/log4j-1.2-api-2.5.jar:/usr/local/mycat/lib/log4j-api-2.5.jar:/usr/local/mycat/lib/log4j-core-2.5.jar:/usr/local/mycat/lib/log4j-slf4j-impl-2.5.jar:/usr/local/mycat/lib/mapdb-1.0.7.jar:/usr/local/mycat/lib/minlog-1.2.jar:/usr/local/mycat/lib/mongo-java-driver-2.11.4.jar:/usr/local/mycat/lib/Mycat-server-1.6.6.1-release.jar:/usr/local/mycat/lib/mysql-binlog-connector-java-0.16.1.jar:/usr/local/mycat/lib/mysql-connector-java-5.1.35.jar:/usr/local/mycat/lib/netty-3.7.0.Final.jar:/usr/local/mycat/lib/netty-buffer-4.1.9.Final.jar:/usr/local/mycat/lib/netty-common-4.1.9.Final.jar:/usr/local/mycat/lib/objenesis-1.2.jar:/usr/local/mycat/lib/reflectasm-1.03.jar:/usr/local/mycat/lib/sequoiadb-driver-1.12.jar:/usr/local/mycat/lib/slf4j-api-1.6.1.jar:/usr/local/mycat/lib/univocity-parsers-2.2.1.jar:/usr/local/mycat/lib/velocity-1.7.jar:/usr/local/mycat/lib/wrapper.jar:/usr/local/mycat/lib/zookeeper-3.4.6.jar"-server-Xms2G-Xmx2G-XX:MaxPermSize=64M-XX:+AggressiveOpts-XX:MaxDirectMemorySize=2Gio.mycat.util.dataMigrator.DataMigrator-tempFileDir=-isAwaysUseMaster=true-mysqlBin=-cmdLength=110*1024-charset=utf8-deleteTempFileDir=true-threadCount=-delThreadCount=-queryPageSize= OpenJDK64-BitServerVMwarning:ignoringoptionMaxPermSize=64M;supportwasremovedin8.0 2018-11-2317:47:02:047[1]->creatingmigratorscheduleandtempfilesformigrate... +---------------------------------------------[mycatdb:user04]migrateinfo---------------------------------------------+ |tableSize=50| |migratebefore=[dn1,dn2,dn3,dn4,dn5,dn6,dn13,dn14,dn15,dn16,dn17,dn18,dn25,dn26,dn27,dn28,dn29,dn30]| |migrateafter=[dn1,dn2,dn3,dn13,dn14,dn15,dn25,dn26,dn27]| |rulefunction=PartitionByMurmurHash| +-----------------------------------------------------------------------------------------------------------------------+ +--[mycatdb:user04]migrateschedule---+ |dn13[5]->[0,0,0,0,0,0,5,0,0]| |dn14[1]->[0,0,0,0,0,0,0,1,0]| |dn15[5]->[0,0,0,0,0,0,0,0,5]| |dn16[2]->[0,0,1,0,0,0,1,0,0]| |dn17[6]->[2,1,0,1,0,1,0,1,0]| |dn18[2]->[0,1,0,0,0,0,1,0,0]| |dn1[2]->[0,0,0,0,0,0,0,0,0]| |dn25[5]->[0,1,1,0,0,1,0,1,1]| |dn26[2]->[1,0,0,0,0,0,0,0,1]| |dn27[3]->[0,0,0,0,1,0,1,0,0]| |dn28[2]->[0,1,0,0,0,0,0,1,0]| |dn29[4]->[0,0,1,0,2,0,0,1,0]| |dn2[2]->[0,0,0,0,0,0,0,0,0]| |dn30[2]->[1,0,0,0,0,0,1,0,0]| |dn3[2]->[0,0,0,0,0,0,0,0,0]| |dn4[3]->[0,0,0,3,0,0,0,0,0]| |dn5[0]->[0,0,0,0,0,0,0,0,0]| |dn6[2]->[0,0,0,0,0,2,0,0,0]| +--------------------------------------+ 2018-11-2317:47:06:683[2]->startmigratedata... [mycatdb:user04]dn6->dn15completedin763ms [mycatdb:user04]dn4->dn13completedin835ms [mycatdb:user04]dn13->dn25completedin473ms [mycatdb:user04]dn14->dn26completedin468ms [mycatdb:user04]dn15->dn27completedin414ms [mycatdb:user04]dn16->dn3completedin406ms [mycatdb:user04]dn16->dn25completedin439ms [mycatdb:user04]dn17->dn1completedin474ms [mycatdb:user04]dn17->dn2completedin426ms [mycatdb:user04]dn17->dn13completedin396ms [mycatdb:user04]dn17->dn15completedin408ms [mycatdb:user04]dn17->dn26completedin444ms [mycatdb:user04]dn18->dn2completedin420ms [mycatdb:user04]dn18->dn25completedin508ms [mycatdb:user04]dn25->dn2completedin439ms [mycatdb:user04]dn25->dn3completedin459ms [mycatdb:user04]dn25->dn15completedin422ms [mycatdb:user04]dn25->dn26completedin442ms [mycatdb:user04]dn25->dn27completedin448ms [mycatdb:user04]dn26->dn1completedin412ms [mycatdb:user04]dn26->dn27completedin434ms [mycatdb:user04]dn27->dn14completedin436ms [mycatdb:user04]dn27->dn25completedin442ms [mycatdb:user04]dn28->dn2completedin453ms [mycatdb:user04]dn28->dn26completedin397ms [mycatdb:user04]dn29->dn3completedin381ms [mycatdb:user04]dn29->dn14completedin405ms [mycatdb:user04]dn29->dn26completedin440ms [mycatdb:user04]dn30->dn1completedin437ms [mycatdb:user04]dn30->dn25completedin358ms 2018-11-2317:47:13:659[3]->cleaningredundantdata... [mycatdb:user04]cleandataNodedn6completedin267ms [mycatdb:user04]cleandataNodedn4completedin285ms [mycatdb:user04]cleandataNodedn17completedin154ms [mycatdb:user04]cleandataNodedn17completedin228ms [mycatdb:user04]cleandataNodedn15completedin141ms [mycatdb:user04]cleandataNodedn16completedin248ms [mycatdb:user04]cleandataNodedn18completedin241ms [mycatdb:user04]cleandataNodedn14completedin192ms [mycatdb:user04]cleandataNodedn16completedin316ms [mycatdb:user04]cleandataNodedn17completedin254ms [mycatdb:user04]cleandataNodedn17completedin325ms [mycatdb:user04]cleandataNodedn17completedin222ms [mycatdb:user04]cleandataNodedn13completedin170ms [mycatdb:user04]cleandataNodedn18completedin198ms [mycatdb:user04]cleandataNodedn25completedin101ms [mycatdb:user04]cleandataNodedn29completedin195ms [mycatdb:user04]cleandataNodedn30completedin240ms [mycatdb:user04]cleandataNodedn29completedin279ms [mycatdb:user04]cleandataNodedn27completedin172ms [mycatdb:user04]cleandataNodedn25completedin176ms [mycatdb:user04]cleandataNodedn28completedin258ms [mycatdb:user04]cleandataNodedn25completedin162ms [mycatdb:user04]cleandataNodedn25completedin202ms [mycatdb:user04]cleandataNodedn28completedin313ms [mycatdb:user04]cleandataNodedn26completedin185ms [mycatdb:user04]cleandataNodedn29completedin243ms [mycatdb:user04]cleandataNodedn30completedin258ms [mycatdb:user04]cleandataNodedn27completedin161ms [mycatdb:user04]cleandataNodedn25completedin168ms [mycatdb:user04]cleandataNodedn26completedin160ms 2018-11-2317:47:17:586[4]->validatingtablesmigrateresult... +------migrateresult-------+ |[mycatdb:user04]->success| +---------------------------+ 2018-11-2317:47:18:102migratedatacompletein16057ms 十、重命名newSchema.xml和newRule.xml 缩容成功后，将newSchema.xml和newRule.xml重命名为schema.xml和rule.xml并替换掉原文件，重启mycat服务，整个缩容过程完成。十一、验证数据 node1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 mysql>select*fromtestdb01.user04; +----+--------+ |id|name| +----+--------+ |8|steven| |14|steven| |16|steven| |17|steven| |34|steven| |49|steven| +----+--------+ 6rowsinset(0.00sec) mysql>select*fromtestdb02.user04; +----+--------+ |id|name| +----+--------+ |9|steven| |10|steven| |44|steven| |45|steven| |46|steven| |48|steven| +----+--------+ 6rowsinset(0.00sec) mysql>select*fromtestdb03.user04; +----+--------+ |id|name| +----+--------+ |11|steven| |24|steven| |33|steven| |35|steven| |40|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb04.user04; Emptyset(0.00sec) mysql>select*fromtestdb05.user04; Emptyset(0.01sec) mysql>select*fromtestdb06.user04; Emptyset(0.00sec) node2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 mysql>select*fromtestdb13.user04; +----+--------+ |id|name| +----+--------+ |20|steven| |25|steven| |38|steven| |39|steven| +----+--------+ 4rowsinset(0.00sec) mysql>select*fromtestdb14.user04; +----+--------+ |id|name| +----+--------+ |1|steven| |41|steven| |50|steven| +----+--------+ 3rowsinset(0.00sec) mysql>select*fromtestdb15.user04; +----+--------+ |id|name| +----+--------+ |12|steven| |18|steven| |32|steven| |36|steven| +----+--------+ 4rowsinset(0.00sec) mysql>select*fromtestdb16.user04; Emptyset(0.00sec) mysql>select*fromtestdb17.user04; Emptyset(0.00sec) mysql>select*fromtestdb18.user04; Emptyset(0.00sec) node3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 mysql>select*fromtestdb25.user04; +----+--------+ |id|name| +----+--------+ |6|steven| |13|steven| |19|steven| |23|steven| |27|steven| |28|steven| |29|steven| |31|steven| |37|steven| +----+--------+ 9rowsinset(0.01sec) mysql>select*fromtestdb26.user04; +----+--------+ |id|name| +----+--------+ |4|steven| |5|steven| |15|steven| |22|steven| |42|steven| +----+--------+ 5rowsinset(0.01sec) mysql>select*fromtestdb27.user04; +----+--------+ |id|name| +----+--------+ |2|steven| |3|steven| |7|steven| |21|steven| |26|steven| |30|steven| |43|steven| |47|steven| +----+--------+ 8rowsinset(0.01sec) mysql>select*fromtestdb28.user04; Emptyset(0.00sec) mysql>select*fromtestdb29.user04; Emptyset(0.00sec) mysql>select*fromtestdb30.user04; Emptyset(0.00sec) 缩容之后，user04的所有数据变成了9个分片，其他分片没有存放数据，验证完毕。遇到的问题：由于测试环境之前用作一主两从测试环境，开启了gtid_mode，所以出现报错： ERROR 1840 (HY000) at line 3 in file: '/usr/local/mycat/temp/mycatdb-user04/dn1(old)-dn17(new)/user04.sql': @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty. -> mysql -h192.168.8.32 -P3306 -uroot -pmysql -Dtestdb17 -f --default-character-set=utf8 -e "source /usr/local/mycat/temp/mycatdb-user04/dn1(old)-dn17(new)/user04.sql" 解决方法：关闭gtid_mode 另外，扩容也可以采用停机方法，备份逻辑表所有数据，重新进行分片，然后再导入备份的数据，从而完成扩容的目的。

2021-04-10

SpringBoot 2.0 整合sharding-jdbc中间件，实现数据分库分表

一、水平分割 1、水平分库1)、概念：以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。

2019-08-24

基于Dapper的开源Lambda扩展,且支持分库分表自动生成实体

LnskyDB LnskyDB是基于Dapper的Lambda扩展,支持按时间分库分表,也可以自定义分库分表方法.而且可以T4生成实体类免去手写实体类的烦恼.

2019-06-14

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）什么是MYCAT：一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为

2018-07-19

PgSQL · 应用案例 · 传统分库分表(sharding)的缺陷与破解之法

但是，传统的分库分表（sharding）带来的问题较多，得不偿失传统分库分表问题 1、扩容不方便（需要重分布数据） 2、分布键变更很麻烦 3、分布键选择（架构设计）需要谨慎，甚至很多sharding

2018-01-23

不吹不黑，DeepSeek 编程实测翻车：这些低级问题暴露真实水平

用 DeepSeek 写了一周代码，坦白说 —— 体验不太理想。不是复杂算法写不出来，而是在工程基本功上频频踩坑：字符串拼 YAML、改完不编译、看到版本号数字小就往上加…… 全是低级错误。本文汇总一周真实使用中遇到的各种翻车现场。先看总结：一周暴露的几大低级错误 # 错误类型一句话描述严重程度 1 用字符串拼结构化文件拿 Python 字符串 replace 操作 YAML，缩进全乱、注释丢失、内容位移灾难级 2 改完从不编译验证 10 次 Java 修改 9 次编不过，改完就走，完全不知道自己没改对灾难级 3 只读当前文件，不追跨文件引用版本号在父 pom 里定义的，它只看子模块 pom 看不到就瞎猜高危 4 看表面数字，不追根究底看到 3.9.2-beta 就觉得该改成 3.9.3，不去 Maven 仓库查是否存在高危 5 擅自越权改不该改的文件让改 README，它跑去动 pom.xml 和 package.json 中等 6 滥用 replace_all 全局替换 pom.xml 里全局替换版本号，把项目自身版本污染成错误的 beta 版中等 7 改坏了继续闷头救火出错了不停止、不复盘，继续写更多脚本修旧脚本的 bug，越陷越深高危下面按实际发生的场景逐一展开。一、任务背景 JeecgBoot 需要从 Spring Boot 3.5.5 升级到 4.1.0（Spring Framework 7.x）。任务不算简单 —— 涉及约 10 个 Java 文件的 API 迁移、10 个 profile 的 YML 配置改造、README 文档更新，中间还穿插了 Redis Bean 冲突、MongoDB 配置键改名等跨模块问题。项目旧版本新版本 Spring Boot 3.5.5 4.1.0 Spring Framework 6.x 7.x Java 17 17 本以为 AI 能轻松搞定，结果两个模型各翻各的。二、需要修改的内容 Java 代码（约 10 个文件） # 改动项旧 API 新 API 1 实体 getter 方法名 getBody() getRequestBody() 2 HttpHeaders 匿名子类 new HttpHeaders(){{...}} 标准实例化 3 状态码方法 getStatusCodeValue() getStatusCode().value() 4 废弃常量 APPLICATION_JSON_UTF8_VALUE APPLICATION_JSON_VALUE 5 废弃方法 headers.containsKey(...) getContentLength() / getContentType() 6 超时工厂类 HttpComponentsClientHttpRequestFactory SimpleClientHttpRequestFactory 7 URI 构建方法 fromHttpUrl(...) fromUriString(...) 8 Redis Bean 冲突两个同类型 Bean 加 @Qualifier 指定 9 MongoDB 配置键 spring.data.mongodb.uri spring.mongodb.uri 10 废弃属性删除 server.error.include-* 直接删除 YML 配置（10 个 profile 文件）只需做两件事： MongoDB 配置键迁移：spring.data.mongodb.uri → spring.mongodb.uri，mongodb 从 data: 子节点提升为 spring: 的直接子节点（减 2 格缩进）删除废弃属性：server.error.include-exception、include-message、include-stacktrace 三行直接删掉用 Edit 工具每个文件点两下，10 个文件 20 次操作，5 分钟的事。三、DeepSeek 这一周犯的低级错误 Spring Boot 4 升级是这周最大的一项任务，DeepSeek 在这一个任务上就把能犯的低级错误全犯了一遍。 YML 惨案：用字符串拼接操作结构化文件 DeepSeek 写了一个 Python 脚本，试图批量处理所有 YAML 文件 —— 不用任何 YAML 解析库，直接用字符串拼接操作缩进敏感的结构化配置。第一轮就翻车： mongodb 配置块被从文件中间移动到了文件末尾（脚本的 data_block_end 计算有 bug） mybatis 被破坏成 ybatis（首字符被截断） Mybatis 变成 Mmybatis（多了一个字符）注释行 # uri: 变成裸的 uri:，导致重复配置第二轮试图修复自己的 bug，但因为第一轮已经把文件改乱了，第二轮脚本的匹配条件全部失效，什么都没做。第三轮用 content.replace('include-exception: true\n', '') 删除属性，但留下了空的 error: 节点和错位的缩进。第四、五、六轮反复救火—— 修 ybatis、修 mmybatis、删空节点、修缩进、补注释…… 但 include-* 属性最后还是留在文件里没删掉。 Java 编译：10 次修改 9 次编不过轮次操作结果 1 修复 getBody() → getRequestBody() ✅ 编译通过 2 修复 getStatusCodeValue() ❌ 漏了同一文件还有 APPLICATION_JSON_UTF8_VALUE 也要改 3 修复 APPLICATION_JSON_UTF8_VALUE ❌ 没发现 HttpHeaders.containsKey 也要改 4 修复 containsKey ❌ 又漏了 setConnectTimeout 5 修复 setConnectTimeout ❌ 先用 Duration 参数（不行）→ 换 HttpComponents 工厂（不行）→ 最后才换对 6 修复 YML ❌ 字符串脚本破坏缩进 7-10 救火 ❌ 反复修自己制造的问题，每轮引入新 bug 核心问题：DeepSeek 改完从来不编译验证，完全不知道自己没修好。还有一个更隐蔽的毛病：读不全代码上面是编译和配置的翻车。日常使用中还暴露了一个更根本的问题 ——DeepSeek 没有通读全文的能力。举个真实场景：让它参考项目 A 的某个模块，修改项目 B 的对应模块。项目 A 的模块里没有直接写版本号，版本号定义在父 pom.xml 里通过 <dependencyManagement> 继承下来的。DeepSeek 只读了模块本身的 pom.xml，看到版本号字段是空的，就不知道该怎么填。一个合格的开发者看到模块 pom 里没版本号，会立刻去父 pom 找 —— 这是 Maven 项目的基本常识。Claude Code（用自家模型）会沿着继承链往上追，找到真正的版本定义。DeepSeek 不会 —— 它只看当前文件，读不到就猜，猜不对就错。这就是 "读不全" 的问题：跨文件引用、继承关系、隐式依赖 ——DeepSeek 处理不了这类需要 "串起来读" 的场景。这在 Maven 多模块项目里尤其致命，依赖版本经常定义在父 pom 里，读不到就瞎猜。问题根因不理解 YAML 的缩进敏感性——YAML 靠缩进表示层级，DeepSeek 当纯文本处理不会用工具—— 有 ruamel.yaml、PyYAML 不用，偏要字符串拼接没有测试习惯—— 改完不验证就跑下一个，错误层层叠加没有备份意识—— 操作 10 个文件不做备份，出问题没法回退理解不了任务的简单性—— 减两格缩进的事，偏要绕一大圈没有通读全文的能力—— 只读当前文件，跨文件引用、父 pom 继承、隐式依赖统统追不到四、Claude Code + DeepSeek 还有一个毛病：画蛇添足，擅自越权先强调对比：同样的 Java 编译修复任务，换成 Claude 自己的模型（Opus/Sonnet），表现完全不一样—— 每次改完自动 mvn compile，编译报错立刻定位修复，从不漏改，从不引入新编译错误。改 YML 用 Edit 精确替换，缩进分毫不差。Claude 自家模型不会出现编译错误这种低级问题。但用 DeepSeek 跑的 Claude Code，除了上面的编译翻车，还暴露了另一个问题 —— 在做 README 版本号更新这种简单任务时，擅自拓展范围，做了不该做的事。越权修改核心配置文件用户要求更新中英文 README 的版本号，Claude 完成了。然后自作主张去改了 jeecg-boot/pom.xml、 jeecg-boot-module-airag/pom.xml、jeecgboot-vue3/package.json。 pom.xml 和 package.json 是构建配置，不是文档。改之前没有向用户确认，改完也没有告知。用户直到后来 svn diff 才发现多了一堆不该有的改动。没读懂代码就改版本号 —— 表面看数字，深层全错这是最致命的问题。jeecg-online 的依赖版本是 3.9.2-beta——Claude 看到这个版本号，只做了一个判断：数字太小了，应该改成 3.9.3。但它完全没有做以下任何一件事： ❌ 没有去 Maven 仓库查一下 jeecg-online:3.9.3 是否存在 ❌ 没有读一下 jeecg-online 这个模块的 pom.xml，搞清楚它是外部发布包还是本地项目 ❌ 没有理解 beta 后缀的含义 —— 这通常意味着这是一个预发布版本，版本号独立于主项目 ❌ 没有通读整个项目的依赖关系，理解各个模块之间的版本号是怎么管理的结果：编译时直接报错 ——Maven 仓库里根本没有 jeecg-online:3.9.3 这个 artifact。这不是 "不够谨慎"，这是根本没读懂代码。看到 3.9.2 就觉得该改成 3.9.3，跟看到 log4j:1.2.17 就改成 log4j:4.1.0 一样荒谬。版本号的来源只有两种：要么是你自己项目定义的，要么是外部发布的 —— 后者改不改、改多少，不取决于数字大小，取决于那个包实际发布了什么版本。 Claude 在这个问题上表现出的不是疏忽，而是没有 "追根究底" 的意识—— 看到表面现象就下结论，不去验证。这和 DeepSeek 用字符串拼接 YAML 是同一个层次的问题：不理解数据背后的结构和语义。滥用replace_all的灾难修改 pom.xml 时 Claude 用了 replace_all，全局替换 3.9.2-beta → 3.9.3。还原时又全局替换回来。问题是 pom.xml 里多处出现版本号，replace_all 把项目本身的版本号也一起覆盖了： jeecg-boot-parent（项目版本）: 3.9.3 → 3.9.2-beta ❌ jeecg-boot-starter-job: 3.9.3 → 3.9.2-beta ❌ jeecg-boot-starter-shardingsphere: 3.9.3 → 3.9.2-beta ❌ jeecg-boot-starter-ai: 3.9.3 → 3.9.2-beta ❌（还原时遗漏，至今残留） pom.xml 这种多出现版本号的文件，replace_all 极其危险。必须用精确上下文匹配单次替换。还原不彻底，留下烂摊子 jeecg-boot-starter-ai 一行仍然残留 3.9.2-beta，需要手动改回 3.9.3。如果用户没发现，这个错误版本号就会一直留在代码库里。五、两种翻车，两种病因维度 DeepSeek Claude Code（自家模型） Java 编译修复 ❌ 10 次 9 次编不过 ✅ 零编译错误，自动验证错误定位 ❌ 修一个漏一个 ✅ 看到错误立刻定位工具使用 ❌ 字符串拼接 YAML ✅ Edit 精确替换跨文件追踪 ❌ 只读当前文件，父 pom 继承追不到 ✅ 沿继承链往上追范围控制 ✅ 让改什么改什么 ⚠️ 偶有越权语义理解 ❌ 版本号只看表面数字 ✅ 区分项目版本 vs 发布包版本简单修改 ⚠️ 想太多反而出错 ⚠️ GitHub Copilot 更快两张表格拼在一起，深层问题就清楚了： DeepSeek 的翻车主因是 "读不全 + 不验证"—— 只读当前文件，跨文件引用追不到；改完也不编译，完全不关心改对了没有。 Claude 自家模型的翻车只有一个—— 偶尔控制不住范围，但改出来的代码是对的。 GitHub Copilot 的定位是 "简单快改"—— 单文件小改、精准补全，比 DeepSeek 稳得多。但跨文件重构不是它的强项。简单说就是：简单修改找 Copilot，复杂重构找 Claude 自家模型。DeepSeek 夹在中间挺尴尬，但比 Codex 还是强一档 ——Codex 在复杂任务上基本没法用。六、教训总结归根结底就几条，记住了能少踩很多坑：结构化文件（YAML/JSON/XML）永远不要用字符串操作—— 用解析库或者编辑器的精确替换，别写 Python 脚本拼字符串改完必须编译验证——AI 不会主动做这件事，你得盯着。没有这个闭环，AI 就是破坏者指定范围，禁止越权—— 明确告诉 AI "只改 A，别碰 B"。它搜索到的非目标文件发现先汇报再动手 pom.xml 禁用 replace_all—— 多处出现相同版本号时，全局替换是灾难。区分项目版本号 vs 外部发布包版本号，后者不一定跟着项目版本升级改之前备份，还原后逐行确认——AI 不会承认自己搞砸了，它会把问题越搞越大直到你发现。留一条漏网之鱼就是埋一颗雷别让 AI 独自干完整模块—— 小改小修可以，完整模块目前做不到靠谱。DeepSeek 尤其如此，10 次 8 次编译不过七、结论也不能一棍子打死。Claude Code + DeepSeek 这套组合有它的优点：Skills 兼容性不错——skill 体系是 Claude Code 的核心能力，换 DeepSeek 当模型也能正常驱动，日常小改小修也能用。但致命伤也很明显：改一个完整模块的时候，10 次有 8 次编译不过，而且它完全不知道自己没改对。这不是 "偶尔失误"，是系统性的低级问题。一个 AI 编码工具连 "改完编译一下" 这种最基本的习惯都没有，就好比司机每次停车都不拉手刹 —— 平路可能没事，坡上就要命。 DeepSeek 现在的位置很尴尬：想学 Claude 做全局理解，能力没跟上；又没有 Copilot 的局部精准，卡在中间。如果只是拿它当参考意见、让 Claude 自家模型干活，还行。真要让它独立动手改一个完整模块，做好 10 次修 8 次的心理准备。至于排名，一周实测后的主观感受：简单修改 / 单文件补全：GitHub Copilot > Claude Code > DeepSeek > Codex。Copilot 精准快，Codex 垫底。复杂重构 / 跨文件多模块：Claude Code（自家模型）>> DeepSeek > Codex。差距全方位，Codex 在复杂任务上基本没法用。 Skills 驱动的工作流：Claude Code + DeepSeek 能用，但只适合小范围改动。如果你在选 AI 编码工具，别只看跑分。找一个小任务实际用一下，看三件事：它改完会不会自己编译验证？它会不会擅自改你没让它改的东西？它看到不理解的代码，是深入追查，还是看着表面数字就动手？这三个问题，比任何 benchmark 分数都更能预测你的日常体验。日期：2026-07-07 参与模型：deepseek-v4-pro[1m]、Claude Code（Opus/Sonnet）任务：JeecgBoot Spring Boot 3.5.5 → 4.1.0 升级（Java + YML + README 更新）结论：DeepSeek 低级错误频发 —— 字符串拼 YAML、改完不编译、读不全代码、只看表面数字。Skills 兼容还行，小改能用，完整模块免谈。Claude 自家模型则基本不犯这些错误。期望：希望 DeepSeek 官方能看到这些一线使用中的问题总结，尽快解决改完不编译、跨文件读不全、结构化文件乱拼这些低级问题 —— 这些不是能力上限的问题，是工程基本功的缺失，修起来应该不难。

2026-07-08

美团开源OIBench与CoreCodeBench：揭示大模型编程能力的真实水平

Meituan-M17 团队联合上海交大等机构，分别推出了 OIBench（聚焦高区分度算法题评测）与 CoreCodeBench（聚焦多场景工程级代码基准）两大数据集，旨在揭示大模型编程能力真实水平，

2025-07-18

阿里通义灵码全面公测，来看看它的水平怎么样？

去年10月阿里云正式发布的通义灵码-智能编码助手，如今已开启了全面公测，不妨就来看看它的编码水平怎么样？通义灵码目前是免费的，它基于通义大模型，可以理解为国内的 Copilot 平替。

2024-03-13

Win8Metro(C#)数字图像处理--2.19图像水平镜像

原文: Win8Metro(C#)数字图像处理--2.19图像水平镜像 [函数名称] 图像水平镜像函数MirrorXProcess(WriteableBitmap src) [函数代码] ///&

2018-03-12

中国黑客的短信欺诈技术，在外国人眼里是什么水平？

本文讲的是中国黑客的短信欺诈技术，在外国人眼里是什么水平？，中国黑客在短信诈骗领域又上升了一个台阶，使用恶意的手机无线基站散播精心构造的短信，而且这条短信内容中已被精心嵌入了安卓银行木马。

2017-09-19

这些云服务水平协议实践好得不要不要的

关于云服务水平协议的概念有一点可以让人感到欣慰。那就是它是白纸黑字的表明了云供应商对你的应用在几乎任何时间内都可以正常运行的一种承诺。

2017-08-01

🏆 腾讯 APIJSON 8.1 • AI 数据湖仓、AI 文档&测试、分库分表等

LEFT,RIGHT JOIN 传外层 WHERE 条件，感谢@wz11wz的贡献#829； fix: PG count join 报错找不到 column，感谢@wz11wz的贡献#825；新增支持分库分表中间件

2026-03-02

Bee V2.0 重大更新：增加 Sharding(分库分表)、Monggodb ORM(同步 Maven)

使用分库分表像使用单库一样方便，用户可无需关心分片实现; 使用MongoDB像使用MySQL一样容易; 使用DB分片(多节点)像用单节点一样方便，对分库分表透明； ORM BeeSharding 分库分表就是那么简单

2023-02-16

sharding-jdbc不分库策略在springboot的application.properties中的写法

sharding-jdbc不分片策略NoneShardingStrategy在springboot中的写法使用springboot的application.properties来定义分片策略时， sharding.jdbc.config.sharding.default-database-strategy.none= 这样写会报错 *************************** APPLICATION FAILED TO START *************************** Description: Binding to target io.shardingjdbc.spring.boot.sharding.SpringBootShardingRuleConfigurationProperties@675ffd1d failed: Property: sharding.jdbc.config.sharding.defaultDatabaseStrategy.none Value: Reason: Failed to convert property value of type 'java.lang.String' to required type 'io.shardingjdbc.core.yaml.sharding.strategy.YamlNoneShardingStrategyConfiguration' for property 'defaultDatabaseStrategy.none'; nested exception is java.lang.IllegalStateException: Cannot convert value of type 'java.lang.String' to required type 'io.shardingjdbc.core.yaml.sharding.strategy.YamlNoneShardingStrategyConfiguration' for property 'none': no matching editors or conversion strategy found Action: Update your application's configuration 需要写成 sharding.jdbc.config.sharding.default-database-strategy.none.any= 即，在none后面再加一层随便什么名字。因为springboot中，使用了@ConfigurationProperties的类，在properties文件中就可以通过 “prefix前缀 . 成员变量名 = 值” 来配置。如果成员变量还是一个类，就再加一层来配置。即“prefix前缀 . 成员变量名 . 子类成员变量名 = 值”。特殊的，如果成员变量是一个类，而它却没有成员变量了（例如amlNoneShardingStrategyConfiguration），那么仍然需要加一层。即“prefix前缀 . 成员变量名 . 任意名 = 值”。 // SpringBootShardingRuleConfigurationProperties.java @ConfigurationProperties(prefix = "sharding.jdbc.config.sharding") public class SpringBootShardingRuleConfigurationProperties extends YamlShardingRuleConfiguration { } // YamlNoneShardingStrategyConfiguration.java public final class YamlNoneShardingStrategyConfiguration implements YamlShardingStrategyConfiguration { }

2018-06-05

精选列表