Hadoop性能调优与运维

来源:互联网 发布:java代码调用js方法 编辑:程序博客网 时间:2024/06/05 10:35

Hadoop集群的搭建



流式访问数据

一次写入,多次读取


默认数据块是64M;

元数据:镜像文件+日志文件;

用户数据;

主从节点的通信是用TCP协议进行通信;





作业;

任务;

键值对;


tasktracker和jobtracker之间的通信与任务分配是通过心跳机制来完成的


Hadoop性能调优与运维

(1)选择合适的硬件



(2)操作系统与JVM调优


(3)Hadoop参数调优




(4)Hive性能调优










(5)Hadoop运维


























































































0 0