摘要: 利用binlog閃回誤操作數據。
基本上每個跟數據庫打交道的程序員（當然也可能是你同事）都會碰一個問題，MySQL誤操作后如何快速回滾？比如，delete一張表，忘加限制條件，整張表沒了。假如這還是線上環境核心業務數據，那這事就鬧大了。誤操作后，能快速回滾數據是非常重要的。
傳統解法
用全量備份重搭實例，再利用增量binlog備份，恢復到誤操作之前的狀態。然后跳過誤操作的SQL，再繼續應用binlog。此法費時費力，不值得再推薦。
利用binlog2sql快速閃回
首先，確認你的MySQL server開啟了binlog，設置了以下參數:
|
1
2
3
4
5
|
[mysqld]server-id = 1log_bin = /var/log/mysql/mysql-bin.logmax_binlog_size = 100Mbinlog-format = row |
如果沒有開啟binlog，也沒有預先生成回滾SQL，那真的無法快速回滾了。對存放重要業務數據的MySQL，強烈建議開啟binlog。
隨后，安裝開源工具binlog2sql。binlog2sql是一款簡單易用的binlog解析工具，其中一個功能就是生成回滾SQL。
|
1
2
|
shell> git clone https://github.com/danfengcao/binlog2sql.gitshell> pip install -r requirements.txt |
然后，我們就可以生成回滾SQL了。
背景：小明在20點多時誤刪了test庫tbl表整張表的數據，需要緊急回滾。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
test庫tbl表原有數據mysql> select * from tbl;+----+--------+---------------------+| id | name | addtime |+----+--------+---------------------+| 1 | 小趙 | 2016-12-10 00:04:33 || 2 | 小錢 | 2016-12-10 00:04:48 || 3 | 小孫 | 2016-12-13 20:25:00 || 4 | 小李 | 2016-12-12 00:00:00 |+----+--------+---------------------+4 rows in set (0.00 sec)mysql> delete from tbl;Query OK, 4 rows affected (0.00 sec)20:28時，tbl表誤操作被清空mysql> select * from tbl;Empty set (0.00 sec) |
恢復數據步驟：
1、登錄mysql，查看目前的binlog文件
|
1
2
3
4
5
6
7
|
mysql> show master status;+------------------+-----------+| Log_name | File_size |+------------------+-----------+| mysql-bin.000051 | 967 || mysql-bin.000052 | 965 |+------------------+-----------+ |
2、最新的binlog文件是mysql-bin.000052，我們再定位誤操作SQL的binlog位置。誤操作人只能知道大致的誤操作時間，我們根據大致時間過濾數據。
|
1
2
3
4
5
6
7
8
9
|
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-datetime='2016-12-13 20:25:00' --stop-datetime='2016-12-13 20:30:00'輸出：INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:25:00', 3, '小孫'); #start 4 end 290 time 2016-12-13 20:25:46INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:26:00', 4, '小李'); #start 317 end 487 time 2016-12-13 20:26:26UPDATE `test`.`tbl` SET `addtime`='2016-12-12 00:00:00', `id`=4, `name`='小李' WHERE `addtime`='2016-12-13 20:26:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 514 end 701 time 2016-12-13 20:27:07DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小趙' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小錢' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-13 20:25:00' AND `id`=3 AND `name`='小孫' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-12 00:00:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05 |
3、我們得到了誤操作sql的準確位置在728-938之間，再根據位置進一步過濾，使用flashback模式生成回滾sql，檢查回滾sql是否正確
|
1
2
3
4
5
6
|
shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-pos=3346 --end-pos=3556 -B輸出：INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 4, '小李'); #start 728 end 938 time 2016-12-13 20:28:05INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:25:00', 3, '小孫'); #start 728 end 938 time 2016-12-13 20:28:05INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:48', 2, '小錢'); #start 728 end 938 time 2016-12-13 20:28:05INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 1, '小趙'); #start 728 end 938 time 2016-12-13 20:28:05 |
確認回滾sql正確，執行回滾語句。登錄mysql確認，數據回滾成功。
|
1
2
3
4
5
6
7
8
9
10
11
|
shell> python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-pos=3346 --end-pos=3556 -B | mysql -h127.0.0.1 -P3306 -uadmin -p'admin'mysql> select * from tbl;+----+--------+---------------------+| id | name | addtime |+----+--------+---------------------+| 1 | 小趙 | 2016-12-10 00:04:33 || 2 | 小錢 | 2016-12-10 00:04:48 || 3 | 小孫 | 2016-12-13 20:25:00 || 4 | 小李 | 2016-12-12 00:00:00 |+----+--------+---------------------+ |
至此，不用再擔心被炒魷魚了。
常見問題
有人會問，我DDL誤操作了怎么快速回滾？比如drop了一張大表。
很難做到。因為即使在在row模式下，DDL操作也不會把每行數據的變化記錄到binlog，所以DDL無法通過binlog回滾。實現DDL回滾，必須要在執行DDL前先備份老數據。確實有人通過修改mysql server源碼實現了DDL的快速回滾，我找到阿里的xiaobin lin提交了一個patch。但據我所知，國內很少有互聯網公司應用了這個特性。原因的話，我認為最主要還是懶的去折騰，沒必要搞這個低頻功能，次要原因是會增加一些額外存儲。
所以，DDL誤操作的話一般只能通過備份來恢復。如果公司連備份也不能用了，那真的建議去買張飛機票了。干啥？跑唄
mysql除了binlog2sql，是否還有其他回滾工具？
當然有。阿里彭立勛對mysqlbinlog增加了flashback的特性，這應該是mysql最早有的flashback功能，彭解決的是DML的回滾，并說明了利用binlog進行DML閃回的設計思路。DDL回滾特性也是由阿里團隊提出并實現的。這兩個功能是有創新精神的，此后出現的閃回工具基本都是對上面兩者的模仿。另外，去哪兒開源的Inception是一套MySQL自動化運維工具，這個就比較重了，支持DML回滾，還不是從binlog回滾的，是從備份回滾的，也支持DDL回滾表結構，數據是回滾不了滴~ 還有一種做法叫slave延時備份，搞臺不加業務流量的slave，故意延遲一段時間，這其實是在傳統辦法的基礎上去除了實例恢復這步。此法會額外消耗一臺機器，我們不推薦這么做。
如有mysql回滾相關的優秀工具優秀文章遺漏，煩請告知。
我的郵箱 danfengcao.info@gmail.com
參考資料
[1] 彭立勛, MySQL下實現閃回的設計思路
[2] Lixun Peng, Provide the flashback feature by binlog
[3] 丁奇, MySQL閃回方案討論及實現
[4] xiaobin lin, flashback from binlog for MySQL
[5] 王竹峰, 去哪兒inception
[6] danfengcao, binlog2sql: Parse MySQL binlog to SQL you want
原文鏈接：https://my.oschina.net/u/3119184/blog/802700
