数据备份工具 BackupSerenity V2.1 新增CSV导入工具集

CSV导入工具集

作用：将将包含表头的CSV文件批量导入至MYSQL

使用方式：

启动脚本

 nohup python3 csv_input_mysql.py > csv_input_mysql.log & 生成的文件名称 csv_input_mysql.log 可以根据情况修改，如果想保留全部日志可以将 > 替换为 >> 即可

导出错误日志

 cat csv_input_mysql.log | grep '创建失败' > csv_input_mysql.log.ERR

获取全部CSV文件名称 [成功]

 cat csv_input_mysql.log | grep '正在疯狂处理' | awk '{print $2}' > csv_files.list

获取全部表名称 [成功]

 cat csv_input_mysql.log | grep '创建成功' | awk '{print $2}' > table_names.list

数据验证

源数据无法预估质量，会出现源数据换行等情况，此时可以使用清洗工具进行清洗，清洗后即可进行验证

 通过数据导入程序进行导入程序后，对原始csv进行清洗 编辑 cleaned_data.py 文件修改  # 清洗前源数据 input_file = 'you_file.csv' # 清洗后数据 output_file = 'cleaned_you_file.csv'  修改完成后进行执行 python3 cleaned_data.py  执行成功后通过wc命令进行行数获取 wc -l cleaned_you_file.csv  数据库通过 SELECT COUNT(1) FROM you_file  得出的数差值为1  数据验证成功！

具体点击原文链接查看，或直接访问 此链接 查看