数据备份工具 BackupSerenity V2.1 新增CSV导入工具集

CSV导入工具集

作用：将将包含表头的CSV文件批量导入至MYSQL

使用方式：

启动脚本

nohup python3 csv_input_mysql.py > csv_input_mysql.log &
生成的文件名称 csv_input_mysql.log 可以根据情况修改，如果想保留全部日志可以将 > 替换为 >> 即可

导出错误日志

cat csv_input_mysql.log | grep '创建失败' > csv_input_mysql.log.ERR

获取全部CSV文件名称 [成功]

cat csv_input_mysql.log | grep '正在疯狂处理' | awk '{print $2}' > csv_files.list

获取全部表名称 [成功]

cat csv_input_mysql.log | grep '创建成功' | awk '{print $2}' > table_names.list

数据验证

源数据无法预估质量，会出现源数据换行等情况，此时可以使用清洗工具进行清洗，清洗后即可进行验证

通过数据导入程序进行导入程序后，对原始csv进行清洗
编辑 cleaned_data.py 文件修改

# 清洗前源数据
input_file = 'you_file.csv'
# 清洗后数据
output_file = 'cleaned_you_file.csv'

修改完成后进行执行
python3 cleaned_data.py

执行成功后通过wc命令进行行数获取
wc -l cleaned_you_file.csv

数据库通过
SELECT COUNT(1) FROM you_file

得出的数差值为1

数据验证成功！

具体点击原文链接查看，或直接访问 此链接 查看