您现在的位置是:首页 > 文章详情

百万级MySQL的数据量,该如何快速的完成数据迁移?

日期:2020-07-19点击:614

背景

上个月跟朋友一起做了个微信小程序,趁着5.20节日的热度,两个礼拜内迅速积累了一百多万用户,我们在小程序页面增加了收集formid的埋点,用于给微信用户发送模板消息通知。

这个小程序一开始的后端逻辑是用douchat框架写的,使用框架自带的dc_mp_fans表存储微信端授权登录的用户信息,使用dc_mp_tempmsg表存储formid。截止到目前,收集到的数据超过380万,很大一部分formid都已经成功使用给用户发送过模板通知,起到了较好的二次推广的效果。

随着数据量的增大,之前使用的服务器空间开始有点不够用,最近新写了一个专门用于做小程序后台开发的框架,于是想把原来的数据迁移到新系统的数据库。买了一台4核8G的机器,开始做数据迁移。下面对迁移过程做一个简单的记录。关注公众号互联网架构师,回复关键字2T,获取最新架构视频

  • select * from dc_mp_fans into outfile '/data/fans.txt'
  • 复制数据文件到目标服务器

     
    1. zip fans.zip /data/fans.txt 
    2. scp fans.zip root@ip:/data/ 

    在目标数据库导入文件

     
    1. unzip /data/fans.zip 
    2.  
    3. load data infile '/data/fans.txt' into table wxa_fans(id,appid,openid,unionid,@dummy,created_at,@dummy,nickname,gender,avatar_url,@dummy,@d 

    按照这么几个步骤操作,几分钟内就完成了一个百万级数据表的跨服务器迁移工作。

    注意项

    • mysql安全项设置

    在mysql执行load data infile和into outfile命令都需要在mysql开启了secure_file_priv选项, 可以通过show global variables like '%secure%';查看mysql是否开启了此选项,默认值Null标识不允许执行导入导出命令。通过vim /etc/my.cnf修改mysql配置项,将secure_file_priv的值设置为空:

     
    1. [mysqld] 
    2.   secure_file_priv='' 

    则可通过命令导入导出数据文件。

    导入导出的数据表字段不对应

    上面示例的从源数据库的dc_mp_fans表迁移数据到目标数据库的wxa_fans表,两个数据表的字段分别为:- dc_mp_fans

    百万级MySQL的数据量,该如何快速的完成数据迁移?" src="http://p3-tt.byteimg.com/large/pgc-image/e014d84cc95746c28abe00cc3578b58b?from=pc" width="640" height="467">

    在导入数据的时候,可以通过设置字段名来匹配目标字段的数据,可以通过@dummy丢弃掉不需要的目标字段数据。

    总结

    结合本次数据迁移经历,总结起来就是:小数据量可以使用mysqldump命令进行导入导出,这种方式简单便捷。- 数据量较大,且有足够的迁移耐心时,可以选择自己写脚本,选择合适的并行方案迁移数据,这种方式编码成本较高。- 数据量较大,且希望能在短时间内完成数据迁移时,可以通过mysql导入导出文件的方式来迁移,这种方式效率较高。

    原文链接:http://database.51cto.com/art/202007/621301.htm
    关注公众号

    低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

    持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

    转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章