mysql集群数据一致性校验

什么是数据一致性？这里仅仅针对mysql，或是关系型数据库，一致性主要包括两方面，表结构一致和数据内容一致。一般情况下，表结构变更相对是少的，而且不一致的概率也很小，即使检查，也相对容易；而导致数据内容不一致的情况很多，所以我们更关心的数据内容的一致性。

      如何实现数据一致性校验？一种思路就是逐行逐字段比较主库和备库的表；另外一种思路是，不逐行逐字段比较，取而代之的是分别对主库和备库计算校验和，通过判断校验和是否相同，确定主备库数据是否一致。

mysql> select count(*) from 5000shot;

mysql> select sum(samplenum) from 5000shot;

计算条数

计算信号数之和

两种思路都很简单，第一种思路正确性高，但性能比较差，因为返回大量的结果集导致大量的网络IO和磁盘IO；而第二种思路则恰好相反，性能会更好，少了IO，多消耗了一些CPU资源(计算校验和)，正确性不如第一种思路。但是考虑到生产环境下，数据时时刻刻都是动态变化的，就没那么简单了。通过对表加锁，可以保证我们在校验时，数据是静态的，待我们顺利完成校验后，再解锁。mysql自带命令CHECKSUM TABLE，就是通过锁表方式来保证数据是静态的。这种方式对于小表，访问量小的表还好，若表非常大，校验需要很长时间，生产环境是不能容忍的。既然要保持静态就需要锁表，可不可以缩短锁表时间呢？pt-table-checksum通过将表分片，每次只对一部分行上锁，这样在校验过程中，一时刻只有部分行被锁住，减少对业务的影响。