muhout 第二天学习笔记

首先打开 hadoop文件夹 ：

在hadoop 的Conf文件夹中的 ，core-site.xml中的

 <property>

     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
</property>

定义了hdfs的端口，但是用浏览器打开 http://127.0.0.1:9000发现是空白页。

这个应该只是hdfs通讯使用的端口。

根据教程：

首先需要配置机器名和hosts

通过以下命令：

[glw@localhost ~]$ vi /etc/sysconfig/network
[glw@localhost ~]$ su
Password:
[root@localhost glw]# vi /etc/sysconfig/network
[root@localhost glw]# vi /etc/hosts
[root@localhost glw]# 

重启机器

然后配置ssh：

   ssh-keygen

   cat .ssh/id_rsa.pub >> .ssh/authorized_keys

   chmod 700 .ssh

   chmod 600  .ssh/authorized_keys

   ssh glw

修改core-site.xml

     修改后大概是这个样子：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
   <name>hadoop.tmp.dir</name>
    <value>/home/glw/tmp</value>
    <description>A base for other temporary directories.</description>
</property>
<property>
   <name>fs.default.name</name>
   <value>hdfs://glw:9000</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
<value>glw</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

修改 map-site.xml

   默认是空，修改为：

     <?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>glw:9001</value>
</property>
</configuration>

启动 hadoop:

查看以下地址：

   http://glw:50070/dfshealth.jsp

运行wordcount实例

（1）新建file01和file02，并设置内容； 

（2）在hdfs中建立一个input目录： Hadoop fs –mkdir input

 （3）将file01和file02拷贝到hdfs中 hadoop fs -copyFromLocal file0* input 

（4）执行wordcount hadoop jar hadoop-examples-0.20.2-cdh3u3.jar wordcount input output 

 （5）查看结果 hadoop fs -cat output/part -r -00000

运行mahout

    首先将synthetic_control.data数据写入hdfs

   [glw@glw ~]$ hadoop fs -mkdir testdata

   [glw@glw ~]$ hadoop fs -copyFromLocal synthetic_control.data testdata/synthetic_control.data

mahout示例程序从 testdata/synthetic_control.data提取数据，并输出到：/user/liuhx/output/data/part-m-00000
   [glw@glw ~]$ hadoop jar ./hadoop/mahout-0.5-cdh3u6/mahout-examples-0.5-cdh3u6-job.jar        org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

查看图形结果：

[glw@glw ~]$ hadoop jar ./hadoop/mahout-0.5-cdh3u6/mahout-examples-0.5-cdh3u6-job.jar org.apache.mahout.clustering.display.DisplayKMeans

至此mahout安装完成，下一步要做的事：

   1.hadoop的eclipse插件安装。

      碰到了虚拟机可以ping通但是不能连接上服务的问题，关闭防火墙后依然不行。

      网上有资料说是vmware9太新的虚拟网卡导致的问题。使用桥接后问题解决，可能就是该问题。

      碰到了client version mismatch的错误，需要重新编译eclipese 插件

            1.使用eclipse的导入工程功能。

              文件夹路径：...\hadoop-0.20.2-cdh3u6\src\contrib\eclipse-plugin

            2.MapReduceTools出现问题，找不到 hadoop-core.jar,将其替换为：hadoop-core-0.20.2-cdh3u6.jar

            3.修改工程中的plugin.xml,中的runtime项，注意classpath配置为：hadoop-core-0.20.2-cdh3u6.ja

                       

            4.使用plugin.xml中的overview中的export the plugin in a format suitable for deployment using the Export_Wizard，如下图：

              

           5.将org.apache.hadoop.eclipse_0.18.0.jar放入eclipse的plugin文件夹下，重启eclipse,配置hadoop连接，出现了以下问题：

                 

                 

                  Could not initialize class org.apache.hadoop.mapred.JobConf

      估计是由于hadoop core jar包未被打包导致的问题，查看对应的jar包，发现hadoop core jar包存在。目前不能发现问题，去google上看看。没有找到任何相关问题的资料，有印象好像处理过这个问题，但是现在忘记了，从以前的插件中看看，到底出了什么问题。不行的话讲原来插件的hadoop-core替换掉，查看了以前编译好的插件，发现lib包中有很多其他jar包：

         commons-cli-1.2.jar

         commons-configuration-1.6.jar  没有在cdh3u6中发现！

         commons-lang-2.4.jar

         jackson-core-asl-1.8.8.jar

         jackson-mapper-asl-1.8.8.jar

         log4j-1.2.15.jar

        将以上的jar放入lib

然后错误变了：

         An internal error occurred during: "Connecting to DFS 191.168.2.26".

org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap

在lib中发现了 guava-r09-jarjar.jar，增加到lib包。

终于可以看见文件夹列表了：

    

总结：

       "Could not initialize class" 的错误一般是由于类中引用的包不能被找到导致的问题。