MySQL 数据迁移脚本

用python写了个数据迁移脚本,主要是利用从库将大的静态表导出表空间,载导入到目标实例中。

#!/usr/bin/env python3
#-*- coding:utf8 -*-
#author:zhanbin.liu
#!!!!!DB必须同版本
#python3环境   pip3 install pymysql paramiko

import os
#from pathlib import Path
import sys
import pymysql
import paramiko

#每次只能迁移一个DB下的表,到指定DB
#GRANT SELECT, CREATE, RELOAD, ALTER, LOCK TABLES ON *.* TO ‘data_migration‘@‘192.168.%‘ IDENTIFIED BY  ‘[email protected]‘;
tables=‘sqlauto_cluster,sqlauto_user‘       #以,分割的字符串,如a,b,c
tableList = tables.split(‘,‘)
sourceIp = ‘192.168.1.101‘
sourceDataBase = ‘/data/mysql/3306/data‘
sourceDbName = ‘inception_web‘
sourceDataDir = os.path.join(sourceDataBase,sourceDbName)
desIp = ‘192.168.1.102‘
desDataBase = ‘/data/mysql/3306/data‘
desDbName = ‘inception_web‘
desDataDir = os.path.join(desDataBase,desDbName)

# for table in tableList:
#     desFile = Path("%s/%s.ibd" %(desDataDir,table))
#     print(desFile)
#     if desFile.is_file():
#         print("ok")
#     else:
#         print("no")

comUser = ‘data_migration‘
comPwd = ‘[email protected]‘
comPort = 3306

client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

def table_judge():
    print("table_judge")
    sourceTableExist = pymysql.connect(sourceIp,comUser,comPwd,sourceDbName,comPort,charset=‘utf8‘)
    desTableExist = pymysql.connect(desIp,comUser,comPwd,desDbName,comPort,charset=‘utf8‘)
    sourceTables = []
    desTables = []
    cursor_source = sourceTableExist.cursor()
    cursor_des = desTableExist.cursor()

    for table in tableList:
        #print(table)
        cursor_source.execute("select TABLE_NAME from information_schema.TABLES where TABLE_SCHEMA=‘%s‘ and TABLE_NAME=‘%s‘;" % (sourceDbName,table))
        sourceTable_tmp = cursor_source.fetchall()
        cursor_des.execute("select TABLE_NAME from information_schema.TABLES where TABLE_SCHEMA=‘%s‘ and TABLE_NAME=‘%s‘;" % (desDbName,table))
        desTable_tmp = cursor_des.fetchall()
        #print(desTable_tmp)
        if sourceTable_tmp is ():
            sourceTables.append(table)
        if desTable_tmp is not ():
            desTables.append(desTable_tmp[0][0])
    sourceTableExist.close()
    desTableExist.close()

    s=d=0
    if sourceTables != []:
        print(‘迁移源不存在将要迁移的表:‘,sourceIp,sourceDbName, sourceTables,‘ 请检查‘)
        s=1
    if desTables != []:
        print(‘目标库存在将要迁移的表:‘,desIp,desDbName,desTables,‘ 请移除‘)
        d=1
    if s == 1 or d == 1:
        sys.exit()

def data_sync():
    print(‘data_sync‘)
    db_source = pymysql.connect(sourceIp,comUser,comPwd,sourceDbName,comPort,charset=‘utf8‘)
    db_des = pymysql.connect(desIp,comUser,comPwd,desDbName,comPort,charset=‘utf8‘)
    cursor_db_source = db_source.cursor()
    cursor_db_des = db_des.cursor()

    for table in tableList:
        print("正在同步表:",table)
        cursor_db_source.execute("show create table %s;" % (table))
        createTableSQL = cursor_db_source.fetchall()[0][1]
        print(createTableSQL)
        try:
            cursor_db_des.execute(createTableSQL)
        except Exception as error:
            print(error)
        cursor_db_source.execute("flush table %s with read lock;" % (table))
        cursor_db_des.execute("alter table %s discard tablespace;" % (table))

        client.connect(sourceIp, 22, ‘root‘)
        stdin1, stdout1, stderr1 = client.exec_command("scp %s  %s:%s " % (sourceDataDir+"/"+table+".ibd", desIp, desDataDir))
        stdin2, stdout2, stderr2 = client.exec_command("scp %s  %s:%s " % (sourceDataDir+"/"+table+".cfg", desIp, desDataDir))
        a_e_1 = stderr1.readlines()
        a_e_2 = stderr2.readlines()
        if a_e_1 != [] or a_e_2 != []:
            print(a_e_1,a_e_2)
            sys.exit()
        client.close()

        client.connect(desIp, 22, ‘root‘)
        stdin3, stdout3, stderr3 = client.exec_command("chown -R mysql.mysql %s*" % (desDataDir+"/"+table))
        a_e_3 = stderr3.readlines()
        if a_e_3 != []:
            print(a_e_1, a_e_2)
            sys.exit()
        client.close()
        #cursor_db_source.execute("select sleep(10);")
        cursor_db_source.execute("unlock tables;")
        cursor_db_des.execute("alter table %s import tablespace;" % (table))
        print("同步完成")

    cursor_db_source.close()
    cursor_db_des.close()

def data_checksum():
    print(‘data_checksum‘)
    db_source = pymysql.connect(sourceIp,comUser,comPwd,sourceDbName,comPort,charset=‘utf8‘)
    db_des = pymysql.connect(desIp,comUser,comPwd,desDbName,comPort,charset=‘utf8‘)
    cursor_db_source = db_source.cursor()
    cursor_db_des = db_des.cursor()

    for table in tableList:
        print("正在校验表:", table)
        cursor_db_source.execute("checksum table %s;" % (table))
        ck_s = cursor_db_source.fetchall()[0][1]
        cursor_db_des.execute("checksum table %s;" % (table))
        ck_d = cursor_db_des.fetchall()[0][1]
        if ck_s != ck_d:
            print("表不一致:",table)
        else:
            print("表一致:",table)

    cursor_db_source.close()
    cursor_db_des.close()

if __name__ == "__main__":
    table_judge()
    data_sync()
    data_checksum()
    print(‘haha‘)

原文地址:http://blog.51cto.com/liuzhanbin/2337168

时间: 12-30

MySQL 数据迁移脚本的相关文章

mysql数据迁移

一. 数据迁移简介所谓的数据迁移,就是指将原有的数据库系统迁移到另外一个业务系统上数据迁移的原因是多种多样的,有可能是业务变更.硬件升级.平台切换或升级mysql数据库 迁移的注意事项:(1).相同版本可以迁移(2).注意版本可以使用的引擎(3).低版本可以向高版本进行数据迁移,高版本一般兼容低版本的特性(4).高版本的数据不能向低版本进行数据迁移,会出现数据不兼容的情况(5).迁移是请注意导出数据和备份数据,出现迁移失败时,立即启动备份方案,保证公司业务的正常运行(6).在数据迁移时,要选择用

MySQL数据迁移到MSSQL-以小米数据库为例-测试828W最快可达到2分11秒

这里采用.NET Framework 4.0以上版本中新出现的 ConcurrentQueue<T> 类 MSDN是这样描述的: ConcurrentQueue<T> 类是一个线程安全的先进先出 (FIFO) 集合. ConcurrentQueue<T> 的所有公共且受保护的成员都是线程安全的,可从多个线程同时使用. 共采用两个线程,一个读一个写. ConcurrentQueue<T>的实现方法: (FIFO) 集合: ConcurrentQueue<

阿里云 CentOS下面 Mysql 数据迁移

本次Mysql数据迁移, 只是从阿里云的CentOS系统盘中,把mysql的data数据, 迁移到非系统盘中. 起因: 由于购买阿里云时候,  默认的系统盘只有20G.  后又购买了100G磁盘空间, 这时, 需要把原mysql数据, 迁移到新的磁盘分区中. 所有的操作步骤记录如下: 1. 新挂载磁盘分区: mount, 并设置为重启后自动加载. 2. 暂时关闭nginx服务器. 再关闭mysql服务器. 3. 修改/etc/my.cnf配置文件, 将里面的路径, 修改为新磁盘中的, 需要保存m

CentOs7上Mysql快速迁移脚本

因公司业务需要,对原来在/usr/local/MySQL/data目录下的数据迁移到/data/local/mysql/mysqlData. 原因是系统盘太小,只有20G,几下就快满了. 参考过几篇文章,基于大神们的思路,我封装成了.sh脚本. 步骤如下: 1) 先修改好/etc/my.cnf, ##[mysqld] ##datadir=/data/local/mysql/mysqlData/data 2)编写mysql_datadir_move.sh #!/bin/bash echo 1 mk

mysql 数据迁移

安装第三方软件XtraBackup对数据做增量备份 XtraBackup介绍: 在线热备份工具,备份过程中不锁库表, 只备份表记录,不备份表结构 表的存储引擎必须是InnoDB/XtraDB 必须先有一次完全备份,这样再执行备份时才知道那些数据是新产生. 安装XtraBackup: perl(DBD::mysql)  perl(Time::HiRes) 先安装两个依赖包 rpm -q perl-Time-HiRes rpm -ivh percona-xtrabackup-2.1.6-702.rh

数据迁移脚本

1 classes = %w(Call City Province Tag) 2 classes.each do |obj_name| 3 obj = Object.const_get(obj_name) 4 obj.establish_connection :production 5 models = obj.all.to_a 6 obj.establish_connection :development 7 ActiveRecord::Base.transaction do 8 models

数据迁移实战:基于Kettle的Mysql到DB2的数据迁移

From:https://my.oschina.net/simpleton/blog/525675 一.什么是ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库. 二.Kettle简单说明 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定

迁移 RDS for MySQL 数据到本地 MySQL

背景  公司的业务系统采用阿里云的RDS云数据库,最近有一个需求:迁移 RDS for MySQL 数据到本地 MySQL.阿里云数据库 MySQL 版支持通过物理备份文件和逻辑备份文件两种途径将云上数据迁移到本地数据库.我公司采用mysql5.6版,备分策略是自动全量物理备份.本地系统是Centos 6.8 X64,此教程提供两种方法,任选其一即可. 备注:因为软件限制,目前数据恢复只支持在 Linux 系统下进行.如果您要恢复数据到 Windows 系统,可以先将数据恢复到 Linux 系统

使用sqoop从mysql往hive中增量导数据shell脚本

一:sqoop增量导入的两种方式 Incremental import arguments: Argument Description --check-column (col) Specifies the column to be examined when determining which rows to import. (the column should not be of type CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHA

迁移mysql数据到oracle上

转自:http://www.cnblogs.com/Warmsunshine/p/4651283.html 我是生成的文件里面的master.sql里面的sql,一个一个拷出来的. 迁移mysql数据到oracle上 一.   服务器本地安装Oracle11G或10G 二.   在运行中输入sqlplus /nolog,oracle中创建表空间. 三.   安装完成后在运行中输入 sql developer打开sql developer (就是本机自带的) 四.   选择jdk版路径(jdk版本