Kettle最佳实践
来源:互联网 发布:陕西广电网络集团 编辑:程序博客网 时间:2024/05/19 13:21
一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。
二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。
三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。
四、在数据库去重时,使用普通索引而不是唯一性索引。
五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注意的是,像数据库去重这种需要索引来优化查询速度的情况可以排除在外。
六、索引和表数据使用不同的表空间,尽可能的减少IO争用。
七、Kettle所在操作系统优先选择Windows,在有些情况下Linux的插入速度明显偏低。
二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。
三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。
四、在数据库去重时,使用普通索引而不是唯一性索引。
五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注意的是,像数据库去重这种需要索引来优化查询速度的情况可以排除在外。
六、索引和表数据使用不同的表空间,尽可能的减少IO争用。
七、Kettle所在操作系统优先选择Windows,在有些情况下Linux的插入速度明显偏低。
- Kettle最佳实践
- kettle调度监控最佳实践
- kettle实践
- kettle应用实践
- ETL之KETTLE实践
- 最佳实践
- 最佳实践
- 最佳实践
- ANT十五大最佳实践
- C 编程最佳实践
- J2EE 最佳实践
- 【笔记】EJb最佳实践
- JUnit最佳实践
- ANT十五大最佳实践
- JUnit最佳实践
- ANT十五大最佳实践
- ANT十五大最佳实践
- ANT十五大最佳实践
- ORA-01779: 无法修改与非键值保存表对应的列
- Android 中颜色对应的值
- 利用区域标记实现图像分离
- 【*】POJ-3580(伸展树-slpay tree)
- Devexpress ASPxGridView GetSelectedFieldValues 脚本选择多列
- Kettle最佳实践
- hdu 1864最大报销额 01背包
- Kettle的一些常见问题
- 随时显示输入的多少字
- uboot中,ARM体系下,设置变量4字节对齐
- 傅老师答疑:WebSphere下LinkageError解决办法
- 我好喜欢你 - Qzone日志
- 大家好,有人学习x86编程么?
- Android遇到内存溢出(Out Of Memory)BUG的经验与解决方法