hive使用总结
来源:互联网 发布:mac chrome加载flash 编辑:程序博客网 时间:2024/06/05 10:41
从接触hive到今天也快一年了,把工作中的用到一些经验如下:
1)牢记一点hive只是一个基于hadoop的数据仓库工具,把sql转换成mapreduce,它的强项在于数据统计、方便灵活开发测试,对于复杂的etl逻辑建议用临时表分阶段去处理或者编写mapreduce程序处理。
2)关注hive sql是否造成数据倾斜。 解决数据倾斜的办法。了解你的数据分布如:是否某些key是其他key的多倍,或者关联的key为空等等。
3)稳定的调度系统非常重要。因为hive,tez运行的时候可能造成意外的错误,所以调度系统对已经上线的脚步自动重跑2,3遍就非常的好。
4)perl,python脚步运行hql尽量一个脚步运行一段hql,对于意外发生的错误追数方便很多。
5)尽量理解hql怎么转化成mapreduce的,有助于性能调优、排错等。
6)尽早的过滤数据。不单单指某条hql过滤数据,而是从整体架构中考虑如何过滤数据。我们点击流日志每天17亿条(800G)左右的日志,选择过滤日志的方法就是,按日志类型拆分、一天一个分区、不同的业务类型拆分等相关手段。这样按日汇总、按月汇总数据容易很多。
0 0
- hive使用总结
- hive使用新的总结
- hive的安装使用总结
- 数据仓库以及Hive的使用总结
- Flume使用Hive作为Sink总结
- Flume使用Hive作为Sink总结
- [hadoop hive] hive总结
- Hive总结
- Hive总结
- Hive总结
- hive总结
- hive总结
- Hive总结
- HIVE总结
- Hive SQL使用和数据加载的一点总结
- Hive SQL使用和数据加载的一点总结
- Hive SQL使用和数据加载的一点总结
- hive 中控制符作为分隔符的使用总结
- 辞职
- PHP文件加锁确保多线程写入安全
- 多分段函数求值
- Android Layout布局文件里的android:layout_height等属性为什么会不起作用? (ViewGroup 重写注意点)
- php curl
- hive使用总结
- 守护线程总结
- struts 和servlet的关系
- 哪种类型的充电管理ic市场应用最多
- 第七周项目 3 简单分支问题体验 3
- Socket 通信编程全方位考虑小实例加源码
- 虚析构函数
- TOCControl右键菜单
- IplImage, CvMat, Mat 的关系