mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
来源:互联网 发布:随心所欲说英语软件 编辑:程序博客网 时间:2024/06/01 10:44
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误
1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完
2.导入前修改参数和禁止索引更新
mysql> SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql> SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;
mysql> set global KEY_BUFFER_SIZE=256217728;
mysql> alter table ${table_name} disable keys;
mysql> LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)
3.导入后
mysql> ALTER TABLE ${table_name} ENABLE KEYS;
耗时统计:
LOAD DATA INFILE... 这步耗时8分钟左右
ALTER TABLE... 这步耗时12分钟左右
阅读全文
1 0
- mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
- mysql导入数据的方式选择-LOAD DATA INFILE句法
- mysql 导入数据 LOAD DATA LOCAL INFILE
- Mysql导入数据load data infile
- mysql导入数据load data infile用法
- MySQL导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile注意事项
- mysql导入数据load data infile用法
- Mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- mysql导入数据load data infile用法
- MySQL 导入数据load data infile用法
- mysql导入数据load data infile用法
- word2013中多级编号变成黑块的该怎么处理?
- C语言链表操作功能实现详解心得
- Ubuntu 14.04上Caffe安装:CPU-Only与GPU支持
- L_TO_CREATE_MULTIPLE
- jquery之交付序列化表单(serialize)及乱码处理
- mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
- FPGA开发综合技巧
- Java命令
- ubuntu突然断电后,重启失败解决方案
- Git如何切换账户
- C++总结2——函数的重载
- JavaScript针对网页节点的增删改查用法实例
- oracle数据库常用的99条查询语句(转)
- HDU