mydumpermyloader使⽤详解
mydumper安装：
mydumper原理：
myloader原理：
⼀、mydumper备份
1、开启16个备份进程，备份出所有的库以及⼆进制⽇志⽂件，到指定⽬录/docker/mydumper/all_backup下
mydumper -u root -p root123 --threads=16 -o /docker/mydumper/all_backup
这⾥的--threads=16指定开启16个备份线程数，这个可以在MySQL⾥⾯show processlist看出来。
备份完成后，每个表都会有两个⽂件:
⼀个是表结构⽂件database.table-schema.sql；
⼀个是表数据⽂件database.table.sql。
此外还有⼀次⼆进制⽇志⽂件metadata。
$ cat metadata
Started dump at: 2017-06-15 10:57:24
SHOW MASTER STATUS:
Log: mysql-bin.000025
Pos: 681395159
drop table if exists userGTID:6fbc72af-348e-11e7-865c-fa163e5807c3:1-22,
ad9b2529-348d-11e7-bef0-fa163e9e3c14:1-2663607
SHOW SLAVE STATUS:
Host: 10.157.24.87
Log: mysql-bin.000047
Pos: 144635857
GTID:6fbc72af-348e-11e7-865c-fa163e5807c3:1-22,
ad9b2529-348d-11e7-bef0-fa163e9e3c14:1-2663607
Finished dump at: 2017-06-15 10:58:50
注：如果没有指定输出的⽬录：mydumper -u root -p root123
则默认⾃动⽣成export-20170615-105920⽬录（export-年⽉⽇-时分秒）
2、备份出所有的库到指定⽂件夹下并压缩备份⽂件（这个备份压缩过程会消耗过多的时间）
mydumper -u root -p root123 -c -o /docker/mydumper/all_backup_compress
会将表结构⽂件和表数据⽂件都压缩，⼆进制⽇志⽂件不变，如下，⽂件⼤⼩从17G压缩到了7.7G。
root@dpsvstadbs05 11:20:02:mydumper$ du -sh *
17G all_backup
7.7G all_backup_compress
3、备份出sampson库所有表的表结构，不备份数据，到指定输出的⽬录/docker/mydumper/sampson-d下
mydumper -u root -p root123 -B sampson -d -o /docker/mydumper/sampson-d
则/docker/mydumper/sampson-d⽬录下只有metadata和sampson.table-schema.sql⽂件。
4、备份出sampson库所有表的数据，不备份表结构，到指定输出的⽬录/docker/mydumper/sampson-m下
mydumper -u root -p root123 -B sampson -m -o /docker/mydumper/sampson-m
则/docker/mydumper/sampson-m⽬录下只有metadata和sampson.table.sql⽂件。
5、备份出sampson库所有dsns和t1表到指定输出的⽬录/docker/mydumper/sampson-T下
mydumper -u root -p root123 -B sampson -T dsns,t1 -o /docker/mydumper/sampson-T
则/docker/mydumper/sampson-T⽬录下有metadata和sampson建库⽂件以及dsns和t1表的备份⽂件。
注：如果备份需要后台运⾏，可以加--daemon实现后台执⾏导出命令。
⼆、myloader恢复
1、从全备的⽬录中恢复sampson库：
myloader -u root -p root123 --threads=16 --database=sampson -d /docker/mydumper/all_backup
2、从只备份了表结构的⽬录中恢复sampson库表结构到sampson-d库中去：
myloader -u root -p root123 --database=sampson-d -d /docker/mydumper/sampson-d
3、从全备的⽂件夹中恢复sampson库到samp库中去：
myloader -u root -p root123 --database=samp --source-db=sampson -d /docker/mydumper/all_backup
注意：建议备份恢复的时候加参数-v 3，显⽰详细的⽇志。
root@dpsvstadbs05 12:13:35:mydumper$ myloader -u root -p root123 -d /docker/mydumper/all_backup --database=huihui --source-db=lizhi -v 3 ** Message: 4 threads created
** Message: Creating database `huihui`
** Message: Creating table `huihui`.`my1`
** Message: Creating table `huihui`.`my2`
** Message: Creating table `huihui`.`my3`
** Message: Creating table `huihui`.`my4`
** Message: Creating table `huihui`.`my5`
** Message: Creating table `huihui`.`my6`
** Message: Creating table `huihui`.`my7`
** Message: Creating table `huihui`.`t1`
** Message: Thread 1 restoring `lizhi`.`my1` part 0
** Message: Thread 3 restoring `lizhi`.`my2` part 0
** Message: Thread 2 restoring `lizhi`.`my3` part 0
** Message: Thread 4 restoring `lizhi`.`my4` part 0
** Message: Thread 3 restoring `lizhi`.`my5` part 0
** Message: Thread 1 restoring `lizhi`.`my6` part 0
** Message: Thread 4 restoring `lizhi`.`my7` part 0
** Message: Thread 2 restoring `lizhi`.`t1` part 0
** Message: Thread 2 shutting down
** Message: Thread 1 shutting down
** Message: Thread 4 shutting down
** Message: Thread 3 shutting down
附：
mydumper参数详解
$ mydumper --help
Usage:
mydumper [] multi-threaded MySQL dumping
Help Options:
-?, --help Show help options
Application Options:
-B, --database 要备份的数据库，不指定则备份所有库
-T, --tables-list 需要备份的表，名字⽤逗号隔开
-o, --outputdir 备份⽂件输出的⽬录
-s, --statement-size ⽣成的insert语句的字节数，默认1000000
-
r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
-F, --chunk-filesize Split tables into chunks of this output file size. This value is in MB
-c, --compress Compress output files压缩输出⽂件
-e, --build-empty-files 如果表数据是空，还是产⽣⼀个空⽂件（默认⽆数据则只有表结构⽂件）
-x, --regex Regular expression for 'db.table' matching 使⽤正则表达式匹配'db.table'
-i, --ignore-engines Comma delimited list of storage engines to ignore忽略的存储引擎，⽤逗号分割
-m, --no-schemas Do not dump table schemas with the data不备份表结构，只备份数据
-d, --no-data Do not dump table data备份表结构，不备份数据
-G, --triggers Dump triggers备份触发器
-E, --events Dump events
-R, --routines Dump stored procedures and functions备份存储过程和函数
-k, --no-locks 不使⽤临时共享只读锁，使⽤这个选项会造成数据不⼀致
--less-locking Minimize locking time on InnoDB tables.减少对InnoDB表的锁施加时间
-l, --long-query-guard 设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
-K, --kill-long-queries Kill long running queries (instead of aborting)杀掉长查询 (不退出)
-D, --daemon Enable daemon mode启⽤守护进程模式，守护进程模式以某个间隔不间断对数据库进⾏备
-I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile 使⽤的⽇志⽂件名(mydumper所产⽣的⽇志), 默认使⽤标准输出
--tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz --skip-tz-utc
--use-savepoints 使⽤savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
--lock-all-tables Use LOCK TABLE for all, instead of FTWRL
-U, --updated-since Use Update_time to dump only tables updated in the last U days
--trx-consistency-only Transactional consistency only
-h, --host 连接的主机名
-u, --user ⽤来备份的⽤户名
-p, --password ⽤户密码
-P, --port 连接端⼝
-S, --socket 使⽤socket通信时的socket⽂件
-t, --threads 开启的备份线程数，默认是4
-C, --compress-protocol 压缩与mysql通信的数据
-V, --version 显⽰版本号
-v, --verbose 输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
myloader参数详解
$ myloader --help
Usage:
myloader [] multi-threaded MySQL loader
Help Options:
-?, --help Show help options
Application Options:
-d, --directory Directory of the dump to import之前备份好的现在需要导⼊的⽂件夹
-
q, --queries-per-transaction Number of queries per transaction, default 1000每次事物执⾏的查询数量，默认是1000
-o, --overwrite-tables Drop tables if they already exist如果要恢复的表存在，则先drop掉该表，使⽤该参数，需要备份时候要备份表结构
-B, --database An alternative database to restore into还原到指定的数据库
-s, --source-db Database to restore选择被还原的数据库，将这个数据库数据还原到--database指定的数据库⾥
-e, --enable-binlog Enable binary logging of the restore data启⽤还原数据的⼆进制⽇志
-h, --host 连接的主机名
-u, --user ⽤来备份的⽤户名
-p, --password ⽤户密码
-P, --port 连接端⼝
-
S, --socket 使⽤socket通信时的socket⽂件
-t, --threads 开启的备份线程数，默认是4
-C, --compress-protocol 压缩与mysql通信的数据
-V, --version 显⽰版本号
-v, --verbose 输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
发表评论