MySQL大批量导入数据

stevezhou 2018.11.07

大批量数据导入mysql数据库时，导入速度：
"load data"mysql命令 > python执行executemany > python执行cexecute循环 > Navicat可视化导入

命令使用：
mysql> load data infile '<文件路径>' into table <表名>(字段1，字段2,...);

mysql5.7.21在使用load data命令时，提示“...is running with the --secure-file-priv”的问题解决：
1、在my.ini中添加“secure_file_priv=”，作用是对导入导出的文件不限制路径（其中等号后不跟任何字符）
2、重新启动mysql服务

使用load data命令导入数据后，末字段有换行符的处理：
用update函数替换掉'\r'或'\n'字符，示例：
update company set url=replace(replace(url,char(10),''),char(13),'');