csv大文件分割以及添加表头
来源:互联网 发布:淘宝卖家怎么联系淘客 编辑:程序博客网 时间:2024/06/03 20:37
为了减轻编辑的工作,某种情况下网站上可能用会到csv格式的文件进行数据导入,但一般网站除了有上传文件大小限制以外,还有就是php脚本语言读取文件到内存一些以及写入到mysql中会超过最大范围。因此只考虑到用分割文件来实现。(当然偷懒就没有用到其他工具导入的方式了)
1.转换csv文件的到对应的编码。这个很多工具都可以做到。
2.在linux下分割文件:(表示按5000行分文件)
# split -l 5000 ../user.csv -d -a 4 user_
3.在每个小文件第一行前插入csv字段(-e表示使用正则,1i表示第一行之前,后面的-i是)# sed -e "1i 用户号码,用户姓名,用户星级,客户经理姓名" -i *
(或者)
# sed -i "1i 用户号码,用户姓名,用户星级,客户经理姓名" *
4.为分割后的文件批量增加扩展名
for i in *
do mv $i $i".csv"
done
5.打包分割文件,由于我需要将这些csv文件拿回来到windows环境下。
# tar czvf csv.tar.gz csv
6.完成。
来源:http://www.cnblogs.com/ikodota/p/split_big_size_file_such_csv_format_on_linux.html
0 0
- csv大文件分割以及添加表头
- mysql 导出CSV文件 并带表头
- 使用java将csv文件分割
- MySQL导出csv文件并分割成多列
- 分割大文件SHELL
- Python 大文件分割
- linux 分割大文件
- 大文件分割程序
- java大文件分割
- golang 大文件分割
- 大日志文件分割
- shell分割大文件
- 分割大文件
- R语言读CSV、txt文件方式以及read.table read.csv 和readr(大数据读取包)
- R语言读CSV、txt文件方式以及read.table read.csv 和readr(大数据读取包)
- R语言读CSV、txt文件方式以及read.table read.csv 和readr(大数据读取包)
- 知道表头、各行数据得到CSV文件流数据
- Bcp导出数据库数据为CSV文件(不带表头)
- 002-多项式求值(Horner规则)-归纳法-《算法设计技巧与分析》M.H.A学习笔记
- org.hibernate.MappingException: Unknown entity: DnoFonetoone.Dnfclass
- MySql学习记录
- PHPUnit安装
- CentOS 6.x系统 ipmitool工具
- csv大文件分割以及添加表头
- 前端界面优化
- 第十六周上机实践——项目6-处理C++源代码的程序
- 淘宝网站前端分析
- 移动端web页面知识小结之CSS部分
- xpages获得当前页面url及其参数
- 办公室: 如何把“敌意”同事变成朋友?
- 解决腾讯云重启postfix服务失败的问题
- 【JAVA高并发秒杀API之DAO层】课程笔记