使用shell分页读取600万+的MySQL数据脚本
来源:互联网 发布:sqlserver完全卸载 编辑:程序博客网 时间:2024/05/29 15:12
shell-mysql
脚本背景
由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包,上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本
功能介绍
直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据效率与jdbc相差无几
脚本介绍
主要有三个脚本构成
1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知
2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息
3,port.sh 分页读取数据的执行脚本
如何使用?
使用非常简单,需要改下page.sh里面的查询字段,以及分页查询的数量,默认是10000,然后执行sh page.sh databaseName tableName传入数据库名和表名即可
github链接:脚本地址
0 0
- 使用shell分页读取600万+的MySQL数据脚本
- Shell脚本读取mysql结果集各数据项的值
- mysql数据迁移shell 脚本
- sql server 和 mysql 的分页读取数据方法
- shell脚本中使用MySQL
- shell 脚本的使用
- 脚本shell的使用
- shell脚本的使用
- 一个使用存储过程分页的 测试通过50万条数据
- shell脚本实现mysql数据增量备份
- shell脚本备份mysql和项目数据
- shell脚本删除线上MySQL大批量数据
- shell 操作mysql保存数据脚本 demo
- shell脚本读取ini配置文件的值
- shell脚本读取ini配置文件的值
- 逐行读取文本文件的 shell 脚本
- shell脚本读取终端输入的方法
- 读取系统运行状态的shell脚本
- leetcode: Delete Node in a Linked List
- js的二维数组
- Algorithms—100.Same Tree
- mongoDB常用命令
- /usr/bin/ld:cannot find -lz编译错误
- 使用shell分页读取600万+的MySQL数据脚本
- vim多行增加缩进
- Linux 文件系统
- webstorm 打开多个项目,自动保存
- WERTYU题目
- [LeetCode] Search Insert Position
- 委托和数据源
- log4cpp 在cef 项目中的应用
- 实体创建:业务侧注册创建接口到平台工厂