hadoop常见错误问题及解决方法(3)
来源:互联网 发布:数据分析统计工具 编辑:程序博客网 时间:2024/06/08 10:09
21、从本地上传文件至HDFS文件系统,报如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙,命令:service iptables stop;
禁用selinux:编辑/etc/selinux/config文件,设置“SELINUX=disabled”。
22、格式化HDFS文件系统时,报错:
Format aborted in /home/hadoop/dfs/name
解决方法:/home/hadoop/dfs/name是dfs.name.dir参照指向的本地路径,把这个目录删除,再格式化就可以了。
23、hadoop节点用什么来监控?
答:如果是监控集群,用ganglia;如果是监控hadoop进程等,用jmx。
24、数据展示和分析的区别?
答:展示:就是做报表,各种维度的报表;
分析:偏数据挖掘了,它是对数据进行分析总结。
25、hadoop需要什么样的网络?
答:hadoop核心使用Shell(SSH)来驱动从节点上的服务器进程,并在主节点和从节点之间使用password-less SSH连接。
26、全分布式环境下为什么需要password-less SSH?
答:这是因为集群中通信国语频繁,Job Tracker需要尽可能快的给TaskTracker分配任务。
27、这会导致安全问题吗?
答:完全不用担心。Hadoop集群是完全隔离的,通常情况下无法进行互联网操作。与众不同的配置,因此我们完全不需要在意这种级别的安全漏洞,比如说通过互联网入侵等等。Hadoop为机器之间的连接提供了一种相对安全的方式。
28、为什么SSH本地主机需要密码?
答:在SSH中使用密码主要是增加安全性,在某些情况下,根本不会设置密码通信。
29、假如NameNode中没有数据会怎么样?
答:没有数据的NameNode就不能称之为NameNode,通常情况下,NmaeNode肯定是有数据的。
30、当JobTracker宕机时,NameNode会发生什么?
答:当JobTracker失败时,集群仍然可以正常工作,只要NameNode没有问题。
- hadoop常见错误问题及解决方法(3)
- hadoop常见错误问题及解决方法(3)
- Hadoop常见错误问题及解决方法(1)
- Hadoop常见错误问题及解决方法(1)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误及解决方法
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 常见错误及解决方法
- 常见错误及解决方法
- hadoop常见错误及解决办法(二)
- hadoop常见错误及解决办法(三)
- MFC 常见错误及解决方法(日积月累)
- hadoop常见错误及解决办法!
- hadoop常见错误及解决办法!
- Hadoop常见错误及解决办法
- TOJ 4603 Interesting Calculator -- SPFA
- Android设备内存和SD卡操作工具类
- 小试ImageMagik——开发篇
- hadoop常见错误问题及解决方法(2)
- Hadoop集群(第6期)_WordCount运行详解
- hadoop常见错误问题及解决方法(3)
- 大数的阶乘
- Buffer类的简介(位于java.nio.*)
- 正则表达式基本语法规则
- MFC下CSocket编程
- 逆向工程第001篇:解锁FIFA07传奇模式
- 第十二周周报
- Hadoop的一系列文章
- Hadoop虽强大,但不是万能的