hadoop运维汇总篇
来源:互联网 发布:伊塞亚·托马斯数据 编辑:程序博客网 时间:2024/06/07 04:55
在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。
1、Namenode的高可靠性
2、节点配置与管理
3、Mapreduce的内存配置
4、启用trash
首要的是保证数据安全可靠,其次再去考虑存储效率、计算效率、运维效率的优化与提高,当你觉得Hadoop集群的性能太差太差的时候,其实是你对Hadoop的了解太少,Hadoop的效率没有被发挥出来。
数据的可靠性,可以通过高可用、高可靠的NameNode,以及具体数据多副本来实现。启用Trash可以让你在误删除数据之后快要绝望的时候给你反悔的机会,这个一定要启动的,就算你设置的时间短一点都没有关系,后悔药就靠它了。
节点的配置就太多了,最为重要当属不同配置的机器要有自己个性化的配置了,尤其是内存的配置最为重要。
参考文献:
http://www.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/
MapReduce: 提高MapReduce性能的七点建议[译]
Hadoop学习总结之五:Hadoop的运行痕迹
Hadoop管理员的十个最佳实践
Hadoop平台优化综述(一)
Hadoop维护管理
hadoop集群管理之 Namenode恢复
hadoop集群管理之 添加节点datanode
hadoop集群管理之 删除节点
hadoop集群管理之 Hadoop回收站trash
2012华东运维技术大会的资料--hadoop运维经验分享
Hadoop-0.20.2 作业内存控制策略
Hadoop-0.21.0公平调度器算法分析
Apache hadoop的mail list
Cloudera CDH google group
http://wiki.apache.org/hadoop/
- hadoop运维汇总篇
- Hadoop运维记录汇总
- hadoop运维问题汇总,持续更新
- hadoop 运维问题汇总(持续更新中)
- hadoop汇总
- hadoop-(3)hadoop问题汇总
- Hadoop学习笔记汇总
- hadoop搭建注意事项汇总
- Hadoop命令汇总
- Hadoop相关网络资源汇总
- 【资源】hadoop资料汇总
- Hadoop异常汇总
- Hadoop常见问题汇总
- hadoop资料汇总贴
- hadoop配置问题解决汇总
- Hadoop资料汇总
- hadoop常见错误汇总
- Hadoop常用命令汇总
- cocos2dx-3.4 lua import
- OpenLayers中的图层
- xcode6模拟器路径
- hdu 5185 Equation (完全背包变形)
- 实验: ASSM内部存储研究大揭密
- hadoop运维汇总篇
- 方便好使的java.util.Properties类
- C++11 学习札记(一)
- TextView加载html标签,实现textview字体颜色随机变化
- (4.1.7)Editext自动获取焦点
- python安装
- 4sum
- 解决android启动app时出现短暂的黑屏或一个带title的界面
- Oracle基本数据类型存储格式浅析(二)——数字类型