hadoop常见错误问题及解决方法(3)
来源:互联网 发布:mysql导出数据库命令 编辑:程序博客网 时间:2024/06/08 16:28
以下为本人在学习hadoop过程中遇到问题,在此做下总结方便以后查阅,同时也希望对大家有所帮助;
21、从本地上传文件至HDFS文件系统,报如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙,命令:service iptables stop;
禁用selinux:编辑/etc/selinux/config文件,设置“SELINUX=disabled”。
22、格式化HDFS文件系统时,报错:
Format aborted in /home/hadoop/dfs/name
解决方法:/home/hadoop/dfs/name是dfs.name.dir参照指向的本地路径,把这个目录删除,再格式化就可以了。
23、hadoop节点用什么来监控?
答:如果是监控集群,用ganglia;如果是监控hadoop进程等,用jmx。
24、数据展示和分析的区别?
答:展示:就是做报表,各种维度的报表;
分析:偏数据挖掘了,它是对数据进行分析总结。
25、hadoop需要什么样的网络?
答:hadoop核心使用Shell(SSH)来驱动从节点上的服务器进程,并在主节点和从节点之间使用password-less SSH连接。
26、全分布式环境下为什么需要password-less SSH?
答:这是因为集群中通信国语频繁,Job Tracker需要尽可能快的给TaskTracker分配任务。
27、这会导致安全问题吗?
答:完全不用担心。Hadoop集群是完全隔离的,通常情况下无法进行互联网操作。与众不同的配置,因此我们完全不需要在意这种级别的安全漏洞,比如说通过互联网入侵等等。Hadoop为机器之间的连接提供了一种相对安全的方式。
28、为什么SSH本地主机需要密码?
答:在SSH中使用密码主要是增加安全性,在某些情况下,根本不会设置密码通信。
29、假如NameNode中没有数据会怎么样?
答:没有数据的NameNode就不能称之为NameNode,通常情况下,NmaeNode肯定是有数据的。
30、当JobTracker宕机时,NameNode会发生什么?
答:当JobTracker失败时,集群仍然可以正常工作,只要NameNode没有问题。
- hadoop常见错误问题及解决方法(3)
- hadoop常见错误问题及解决方法(3)
- Hadoop常见错误问题及解决方法(1)
- Hadoop常见错误问题及解决方法(1)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误及解决方法
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 常见错误及解决方法
- 常见错误及解决方法
- hadoop常见错误及解决办法(二)
- hadoop常见错误及解决办法(三)
- MFC 常见错误及解决方法(日积月累)
- hadoop常见错误及解决办法!
- hadoop常见错误及解决办法!
- Hadoop常见错误及解决办法
- CvCreateImage函数说明
- C#窗体嵌入SetParent的用法
- 找出一个字符串中的最长奇数回文。在控制台输入输出。
- javascript为下拉列表添加数据项
- Qualcomm 高通芯片组与Android音频系统缺陷测评分析
- hadoop常见错误问题及解决方法(3)
- 51系列小型操作系统精髓 简单实现11 C语言版优化后说明(有图)
- 使用spring实现文件的上传
- js 开始时间,当前时间,结束时间的比较
- Android基础 -- Activity之间传递数据(bitmap和map对象)
- Oracle创建表分区----范围分区
- Android之TextureView浅析
- jsp生成随机验证码图片
- Hadoop:Hbase&Hive