win_eclipse_hadoop2.5.2_WordCount测试用例

win_eclipse_hadoop2.5.2_WordCount测试用例

• 准备
  
  • apache-ant-x-bin
  • hadoop-2.5.2
  • hadoop-2.5.2-src
  • hadoop2.5软件包(我这里用的时别人提供的2.6)
  • hadoop-common-2.2.0-bin-master
  • hadoop-eclipse-plugin-2.5.2（这个一定要和hadoop的版本一致）

• 环境变量配置—找不到hadoop文件错误

  配置完环境变量一定要测试一下:经历过，按教程配置环境变量，但始终不对的情况。win10下编辑PATH：%HADOOP_HOME%/bin，没有起到作用。后来，配置了绝对路径，解决了程序报关于找不到文件的错误。//测试方法：例如：1、在hadoop.2.5.2下创建空的test.cmd2、配置完环境变量后，重新打开cmd3、输入 test.cmd 输出空行，则配置正确。

  • java
  • ant
  • hadoop

• 配置eclipse :安装hadoop-eclipse-plugin

  • 将hadoop-eclipse-plugin-2.5.2.jar放到eclipse的dropins/plugins 下（没有的话，先创建plugins）

  • 启动eclipse，会在Window/Preferences下发现Hadoop Map/Reduce。

    • 点击Hadoop Map/Reduce 配置Hadoop目录
    • 作用：hadoop-2.5.2所在位置，该配置是为后续创建hadoop工程，自动导入依赖hadoop-2.5.2/share下的jar服务的
    • 如果后边发现没有缺jar包 import xxx错误，请重新配置该目录
      或 配置java build path手动导入所有依赖的包
      参考1、依赖包
      参考2、如何导入依赖包
      

  • 配置Map/Reduce Loatcion

    我只配置了General，其中    Master 为你hadoop集群master的信息：     Host: master的ip    Port:不同的配置文件，可能寻找该端口的方式不一样，我这是在yarn文件中  ---maprede-site.xml    DFS master port: 9000  ---core-site.xml中    user name -master的用户名

    • 配置文件
      
      • DFS master port
        
      • master port 有两个文件组合配置的–其他配置方式参考abc
        
        • maprede-site.xml
          
        • yarn
          

  • DFS Locatins

    • 如果你的插件正常，则创建Hadoop Map/Reduce工程后，在Project Explorer正确显示hadoop的目录结构。
      
    • 遇到的错误
      
      • 连不上hadoop-显示本机的ip和hadoop不在一个段上，断网后，重新启动eclipse有时能够连上；
      • 有时在projects explores上根本就不显示DFS Locations。
      • 解决办法：请确认插件和hadoop版本一致，我这的错误就因为版本不一致造成的，更换插件后，一切正常。

  • 创建工程，添加WordCount——具体参考

    • 确保依赖包导入正确，WordCount上不会显示import错误—见前
    • 配置run configuration 添加两个参数分别时输入 输出参数——-参考
      hdfs://192.168.1.100:9000/user/liu/input
hdfs://192.168.1.100:9000/user/liu/output

    • 确保存在input，并在input中添加两个文件fie1 file2 为测试用例；output会在输出结果时创建。

      hadoop fs -mkdir input    --创建input文件夹//创建测试文件file1 file2,随便写进一些单词hadoop fs -put input file1   --将本地文件上传到HDFS的input目录下hadoop fs -put input file2

    • 在工程src现添加hadoop的配置文件—经测试，不添加也没问题

    • Windows添加master hosts，否则会报出Unknown Host的错误，原因应该是我们的配置文件中都在用master,但是Windows却不知道master是谁
    • run–正确结果
      
• 关于运行错误
  
  • java.net.UnknownHostException: unknown host: master
  • $Windows.access0(Ljava/lang/String;I)Z
• 参考
  
  • Win7+Eclipse+Hadoop2.6.4开发环境搭建
  • 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
  • Windows下使用Hadoop2.6.0-eclipse-plugin插件
  • 如何在Eclipse中使用依赖项目(Required projects)代替jar?
  • 问题汇总