10倍以上提高Pentaho Kettle的MySQL写入速度
来源:互联网 发布:php魔术方法是什么 编辑:程序博客网 时间:2024/05/02 02:28
使用Pentaho Kettle做了个数据抓取入库的程序,大致这个样:
使用文本调测的时候,速度大概7500条/秒,但是换上数据库后,速度只有150条/秒,对于20万左右的数据入库要超过20分钟,这让人没法接受。
使用批量插入好像也没什么效果,依然慢
求助Google,找到了2个参考:
参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html
参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9
描述的基本一致,根据参考调整了连接参数:
- useServerPrepStmts=false
- rewriteBatchedStatements=true
- useCompression=true
useServerPrepStmts=falserewriteBatchedStatements=trueuseCompression=true
数据写入速度马上提升到2300条/秒左右,开3个线程,写入速度就与文本写入差不多了。
也算写了很长时间的代码,使用Kettle也算有一段时间,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,但这样的速度提升摆在面前,不熟悉这些性能参数,要想提高性能还真的不容易,写出来也是希望碰到相同问题时能有点参考,因为使用百度,完全搜索不到^_^,写点中文的,希望能被收录
0 0
- 10倍以上提高Pentaho Kettle的MySQL写入速度
- 10倍以上提高Pentaho Kettle的MySQL写入速度
- 如何提高Pentaho Kettle的MySQL写入速度
- 速度Spark为什么能够把云计算大数据的速度提高到100倍以上
- 提高 Laravel 框架性能 10 倍以上
- 使用Apache Spark让MySQL查询速度提升10倍以上
- [MySQL]调整MySQL参数提高写入速度
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- MYSQL处理百万级以上的数据提高查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- mysql处理百万级以上的数据时如何提高其查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- mysql处理百万级以上的数据时如何提高其查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- mysql处理百万级以上的数据时提高其查询速度的方法
- 关于mysql处理百万级以上的数据时如何提高其查询速度的方法
- WebStorm安装Vim插件以及快捷键设置
- Wininet协议栈的一个缺陷
- 算法导论------学习笔记05
- Sublime Text2使用心得
- URAL 1949 The Best Picture in the Galaxy 二分匹配 求字典序最小解
- 10倍以上提高Pentaho Kettle的MySQL写入速度
- 天天ASP开发网完成拼车网项目开发
- System.Windows.Threading.DispatcherTimer 并不精确
- V-S 分水岭变换算法
- 解决C++编写程序报错:类重定义
- sitemesh 学习文档
- 实用脚本收录:Identifying Blocking Transactions
- 从头认识C—指针
- 在matlab和VS2010中配置vlfeat