搭建hadoop环境遇到的问题

问题1：jdk版本太低导致执行bin/hadoop jar hadoop-0.20.0-examples.jar wordcountinput-dir output-dir报错

Administrator@ser2003/cygdrive/d/hadoop-0.20.0

$ bin/hadoop jar hadoop-0.20.0-examples.jarwordcount input-dir output-dir

原来我的系统上安装的是jdk1.5，在Cygwin上运行上面的代码时报如下错误：

bin/hadoop: line 258: D:\Program: commandnot found

Exception in thread "main"java.lang.UnsupportedClassVersionError: Bad version

umber in .class file

       at java.lang.ClassLoader.defineClass1(Native Method)

       at java.lang.ClassLoader.defineClass(ClassLoader.java:620)

       at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:1

4)

       at java.net.URLClassLoader.defineClass(URLClassLoader.java:260)

       at java.net.URLClassLoader.access$100(URLClassLoader.java:56)

       at java.net.URLClassLoader$1.run(URLClassLoader.java:195)

       at java.security.AccessController.doPrivileged(Native Method)

       at java.net.URLClassLoader.findClass(URLClassLoader.java:188)

       at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

       at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:268)

       at java.lang.ClassLoader.loadClass(ClassLoader.java:251)

       at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)

后来我发现是jdk版本低的原因，所以我在网上下了一个jdk1.6的版本。安装好，配置完之后问题解决了。

 

 

问题2.关于conf/hadoop-site.xml的问题

Hadoop-0.20.0以及以上的版本conf没有hadoop-site.xml这个文件，因为这个版本对这个文件做了分解，分成了conf/core-site.xml，conf/hdfs-site.xml，conf/mapred-site.xml这三个文件。

在hadoop-0.20.0.tar.gz安装包中，conf目录下的core-site.xml默认是空的，但src/core目录下有一个缺省的配置文件core-default.xml，所以只需要将它复制到conf目录下，并重命名成core-site.xml即可，下述操作都是基于此操作的。

core-site.xml文件位于/usr/local/hadoop/conf目录下。

conf/hadoop-default.xml 中是 Hadoop 缺省的参数，你可以通过读此文件了解 Hadoop 中有哪些参数可供配置，但不要修改此文件。可通过修改conf/hadoop-site.xml 改变缺省参数值，此文件中设置的参数值会覆盖 conf/hadoop-default.xml 的同名参数。

 

问题3. Eclipse 中警告：不能读取 AppletViewer 的属性文件解决

警告：不能读取 AppletViewer的属性文件： C:\Documents and Settings\Administrator
\.hotjava\properties 使用默认值。

解决方法：

1.打开命令提示窗口（cmd）
2.打入PolicyTool并按Enter
3.在PolicyTool对话框中，点击Add Policy Entry按钮（添加规则项目）

4.点击AddPermission按钮（添加权限）

5.点击许可下拉菜单选择 All Permission

6.点击ok（确认）

7.点击Done（完成）

8.从file菜单中选择Save as（文件菜单选择另存为）

9.在C:\Documents and Settings\Administrator（当前操作系统用户名）\中保存.java.policy文件（这个要根据情况来如果没有.java.policy文件开始会弹出个提示说是在什么地方找不到.java.policy你就把它存在提示的那个目录下面）

 

问题4：在Eclipse中运行WordCount例子时报内存溢出的错误

当运行这个例子时报出如下错误信息：

09/09/09 13:35:09 INFO jvm.JvmMetrics:Initializing JVM Metrics with processName=JobTracker, sessionId=

09/09/09 13:35:09 WARN mapred.JobClient: Nojob jar file set. User classes may notbe found. See JobConf(Class) or JobConf#setJar(String).

09/09/09 13:35:09 INFO input.FileInputFormat:Total input paths to process : 3

09/09/09 13:35:09 INFO mapred.JobClient:Running job: job_local_0001

09/09/09 13:35:09 INFO input.FileInputFormat:Total input paths to process : 3

09/09/09 13:35:09 INFO mapred.MapTask:io.sort.mb = 100

09/09/09 13:35:09 WARN mapred.LocalJobRunner:job_local_0001

java.lang.OutOfMemoryError: Java heap space

atorg.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:679)atorg.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:435)

atorg.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:510)

atorg.apache.hadoop.mapred.MapTask.run(MapTask.java:303)

atorg.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:176)

09/09/09 13:35:10 INFO mapred.JobClient: map 0% reduce 0%

09/09/09 13:35:10 INFO mapred.JobClient: Jobcomplete: job_local_0001

09/09/09 13:35:10 INFO mapred.JobClient:Counters: 0

 

解决方法：

在vm 自变量中加入“-Xms32m –Xmx800m”就可以了。

 

问题5： LINUX 防火墙没有关闭导致访问不了的问题

因为我们的三台主机的防火窗没有关闭，导致主机之间不能进行访问

解决方法如下：

关闭：/etc/rc.d/init.d/iptables stop

问题6：用ssh时 提示WARNING: POSSIBLE DNS SPOOFING DETECTED!处理方法

其实这是客户机问题，与SSH服务器无关，只需把.ssh目录下的文件删除即可。下次使用ssh时文件会重建的。

出现这问题的原因一般是同一主机使用了不同的用户名登陆。（如果多个域名和多个IP同时指向同一主机，ssh仍然视为不同主机。）

 

fuc@A8:/$ ssh www.163.net -l fuc

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

@      WARNING: POSSIBLE DNS SPOOFING DETECTED!          @

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

The RSA host key for www.163.net haschanged,

and the key for the according IP address158.252.167.117

is unknown. This could either mean that

DNS SPOOFING is happening or the IP addressfor the host

and its host key have changed at the sametime.

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

@   WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

IT IS POSSIBLE THAT SOMEONE IS DOINGSOMETHING NASTY!

Someone could be eavesdropping on you rightnow (man-in-the-middle attack)!

It is also possible that the RSA host keyhas just been changed.

The fingerprint for the RSA key sent by theremote host is

11:8e:a8:b4:91:95:8b:15:82:b8:71:de:a7:c1:c0:aa.

Please contact your system administrator.

Add correct host key in /home/fuck/.ssh/known_hoststo get rid of this message.

Offending key in/home/fuck/.ssh/known_hosts:1

RSA host key for www.163.net has changedand you have requested strict checking.

Host key verification failed.fuck@A8:/$ cd~

fuck@A8:~$ cd .ssh/

fuck@A8:~/.ssh$ ls

known_hosts

fuck@A8:~/.ssh$ rm known_hosts再ssh一次就可以了！以上是Linux的方法。Windows下面也是大致相同，都是要找到.ssh文件夹。

 

问题7：VMware安装Linux，出现错误－未找到要在其中创建新文件系统的有效设备

问题：

 

       VMware里安装RedHatLinux时出现：出现错误－未找到要在其中创建新文件系统的有效设备。请检查您的硬件以找到问题的起因。

 

原因：

 

       VM默认硬盘是SCSI硬盘（安装VMware安装的时候选择Custom安装是可以选择），而SCSI硬盘需要专门的驱动，windows系统带有，而read hat没有，所以会出现未找到要在其中创建新文件系统的有效设备的错误提示。

 

解决方法：

 

       把原来的scsi硬盘删除，新建一个IDE硬盘，就可以了

 

       在Favorites（虚拟机）单击你要处理的计算机–>Edit vitualmachine settings（设置）–-->单击 “Hard Disk (SCSI 0:0)”（硬盘）–>在这个框下边有一个”Remove（移除）”,单击这个就是删除了。–>单击”Remove”左边的”Add…（添加）”,下一步，”Hard Disk”（硬盘），Create a new vitual disk（创建一个新的虚拟硬盘）,下一步，选择IDE，然后下一步就可以了.

 

问题8：在linux下安装了jdk1.6为什么系统还是显示1.4的老版本

可能是环境变量没有设好
修改/etc/profile，在下面加入以下代码：
JAVA_HOME=/usr/java/jdk1.5.0
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH JAVA_HOME CLASSPATH

修改之后问题解决。

 

问题9：Eclipse 中警告：不能读取 AppletViewer 的属性文件解决

警告：不能读取AppletViewer 的属性文件：C:\Documents and Settings\Administrator

\.hotjava\properties 使用默认值。

 

解决方法：

1.打开命令提示窗口

2.打入PolicyTool并按Enter

3.在PolicyTool对话框中，点击Add Policy Entry按钮（添加规则项目）

4.点击Add Permission 按钮（添加权限）

5.点击许可下拉菜单选择 All Permission

6.点击ok（确认）

7.点击Done（完成）

8.从file菜单中选择Save as（文件菜单选择另存为）

9.在 C:\Documents and Settings\Administrator（当前操作系统用户名）\中保存.java.policy文件（这个要根据情况来 如果没有.java.policy文件开始会弹出个提示说是在什么地方找不到.java.policy 你就把它存在提示的那个目录下面）

 

问题10：Eclipse汉化导致不能查看点class文件

报如下错误：

建议不要使用汉化包

 

问题11：文件系统为什么要格式化？格式化后有什么实际影响？

格式化是在数据文件夹中建立基本的文件和信息。每一个目录都维持一个表，里面存放当前目录下的文件信息，以及他的上一级目录，子目录这些信息，不同的文件系统这个表的格式会有差异的，用了hdfs，gfs之后当然要建立它们自己格式的表。