hadoop学习笔记之<用eclipse开发>

来源：互联网发布：什么域名不需要备案编辑：程序博客网时间：2024/04/28 10:59

Hadoop安装在虚拟机CentOS7.1系统中，开发在Windows系统中。

在Windows中有如下步骤要做：

下载hadoop-eclipse-plugin-2.6.1.jar
放到eclipse的plugins目录下
启动eclipse
解压hadoop2.6.1.tar.gz到本地某个目录中，如D:\Hadoop\hadoop-2.6.1
在Window->preference中找到Hadoop Map/Reduce，设置Hadoop installation directory为D:\Hadoop\hadoop-2.6.1
在Window->open perspective中选择Map/Reduce
在Window->Show View中选择Map/Reduce Locations
选择new hadoop location

其中10.8.188.147是CentOS系统的ip地址（要关闭防火墙），Map/Reduce(V2) Master 是jobtracker的端口，DFS Master是namenode的端口。

Hadoop主要的配置文件有三个core-site.xml、hdfs-site.xml和mapred-site.xml。

在core-site.xml中的fs.default.name属性就是指定了namenode的端口号，以及host

jobtracker使用默认的端口50030。

点击确认以后connect会成功。

注意：hadoop服务器中的core-site.xml的fs.default.name属性配置时，host需要是确切的ip，不能是localhost，否则会connection refused。也有可能没有启动成功，不一定是localhost的原因，再重新启动hadoop即可。

可参考：http://blog.itpub.net/26230597/viewspace-1370205/

------------------------------------------------------我是分割线---------------------------------------------------------------------

上面讲得那些最终并不成功，出现了很多乱七八糟的错误（可看：问题集锦1和问题集锦2），修改了以后还是不成功。后来觉得在Windows下用Eclipse开发其实最终还是运行在集群中的，流行的做法是Eclipse开发完单机模式下运行一下看能否正常运行，然后再打包成jar包放到集群中运行。

以下是Local模式下Eclipse开发的步骤

Hadoop版本：2.6.1

下载hadoop2.6.1.tar.gz
由http://wiki.apache.org/hadoop/Hadoop2OnWindows 可知，2.x版本或更新的版本可以直接安装在Windows平台上，在该网页中指出了几个注意点：
(1)Do not attempt to run the installation from within Cygwin. Cygwin is neither required nor supported. 也就是说2.x版本的不支持Cygwin，其实本身也不需要Cygwin，因为解压hadoop-2.6.1.tar.gz后可以看到其既提供了Linux平台下的.sh文件也提供了Windows平台下的.cmd文件。
(2)The official Apache Hadoop releases do not include Windows binaries.即需要链接库（包含了winutils.exe)，由于2.2版本之前和之后的链接库不同，要下载对应的版本的链接库，这个可以从github下载或者csdn中下载，下载网址为：http://download.csdn.net/download/kemp/8433131 解压该文件到xxx\hadoop-2.6.1\bin目录下（相同的跳过即可，注：有些版本的winutils库不一定支持，就从这个网站下载就行，否则会出现Exception in thread "main"java.lang.UnsatisfiedLinkError）。
(3)JDK版本至少是JDK1.7,hadoop-2.6.1不再支持JDK1.6版本。
按照步骤2解压hadoop2.6.1.tar.gz后，并添加链接库（主要是winutils)后，然后新建HADOOP_HOME环境变量，在path环境变量后面添加 ;%HADOOP_HOME%\bin,打开Eclipse，新建Java Project，添加依赖jar包（可以放在user library中）。
需要添加的hadoop相应jar包有：

/hadoop-2.6.1/share/hadoop/common下所有jar包，及里面的lib目录下所有jar包，
/hadoop-2.6.1/share/hadoop/hdfs下所有jar包，不包括里面lib下的jar包，
/hadoop-2.6.1/share/hadoop/mapreduce下所有jar包，不包括里面lib下的jar包，
/hadoop-2.6.1/share/hadoop/yarn下所有jar包，不包括里面lib下的jar包

配置run configuration
路径可以使用绝对路径或相对路径，这里的路径指的是Windows的文件路径
Run 即可
可以在D:\output\part-00000中看到最终结果

注：在Local模式下Hadoop不会使用HDFS，也不会开启任何Hadoop守护进程，所有程序将在一个JVM上运行并且最多只允许拥有一个reducer。特别要注意的是每次运行前都需要先将输出路径删掉，否则会报org.apache.hadoop.mapred.FileAlreadyExistsException。一般我们使用Local模式来测试我们的MR程序是否能够正常运行，测试能正常运行后打包成JAR包放到集群上运行。

打包成jar包只需要右击项目选择Export，然后选择jar file即可(注：在MainClass中指定main函数所在的Class文件，可以方便操作）

运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用hadoop jar命令执行。

用法：hadoop jar <jar> [mainClass] args... 当打包成jar包时如果指定了mainClass，则在这里就不用再指定。

以下网址可供参考：

Eclipse下使用Hadoop单机模式调试MapReduce程序

http://qindongliang.iteye.com/blog/2036619

示例程序：

package sjsb;import java.io.IOException;  import java.util.StringTokenizer;  import org.apache.hadoop.conf.Configuration;  import org.apache.hadoop.fs.Path;  import org.apache.hadoop.io.IntWritable;  import org.apache.hadoop.io.Text;  import org.apache.hadoop.mapred.JobConf;  import org.apache.hadoop.mapreduce.Job;  import org.apache.hadoop.mapreduce.Mapper;  import org.apache.hadoop.mapreduce.Reducer;  import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  import org.apache.hadoop.util.GenericOptionsParser;    public class WordCount {         /**       * MapReduceBase类:实现了Mapper和Reducer接口的基类（其中的方法只是实现接口，而未作任何事情）       * Mapper接口：       * WritableComparable接口：实现WritableComparable的类可以相互比较。所有被用作key的类应该实现此接口。       * Reporter 则可用于报告整个应用的运行进度，本例中未使用。        *        */      public static class TokenizerMapper          extends Mapper<Object, Text, Text, IntWritable>{              /**         * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类，这些类实现了WritableComparable接口，         * 都能够被串行化从而便于在分布式环境中进行数据交换，你可以将它们分别视为long,int,String 的替代品。         */       private final static IntWritable one = new IntWritable(1);      private Text word = new Text();//Text 实现了BinaryComparable类可以作为key值                 /**       * Mapper接口中的map方法：       * void map(K1 key, V1 value, OutputCollector<K2,V2> output, Reporter reporter)       * 映射一个单个的输入k/v对到一个中间的k/v对       * 输出对不需要和输入对是相同的类型，输入对可以映射到0个或多个输出对。       * OutputCollector接口：收集Mapper和Reducer输出的<k,v>对。       * OutputCollector接口的collect(k, v)方法:增加一个(k,v)对到output       */              public void map(Object key, Text value, Context context) throws IOException, InterruptedException {                    /**          * 原始数据：          * c++ java hello             world java hello             you me too             map阶段，数据如下形式作为map的输入值：key为偏移量             0  c++ java hello             16 world java hello             34 you me too                       */                      /**           * 以下解析键值对          * 解析后以键值对格式形成输出数据          * 格式如下：前者是键排好序的，后者数字是值          * c++ 1          * java 1          * hello 1          * world 1          * java 1          * hello 1          * you 1          * me 1          * too 1          * 这些数据作为reduce的输出数据          */        StringTokenizer itr = new StringTokenizer(value.toString());//得到什么值        System.out.println("value什么东西 ： "+value.toString());        System.out.println("key什么东西 ： "+key.toString());               while (itr.hasMoreTokens()) {          word.set(itr.nextToken());                  context.write(word, one);        }      }    }        public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {      private IntWritable result = new IntWritable();      /**      * reduce过程是对输入数据解析形成如下格式数据：      * (c++ [1])      * (java [1,1])      * (hello [1,1])      * (world [1])      * (you [1])      * (me [1])      * (you [1])      * 供接下来的实现的reduce程序分析数据数据      *       */      public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {        int sum = 0;        /**        * 自己的实现的reduce方法分析输入数据        * 形成数据格式如下并存储        *     c++    1        *    hello   2        *    java    2        *    me      1        *    too     1        *    world   1        *    you     1        *            */        for (IntWritable val : values) {          sum += val.get();        }               result.set(sum);        context.write(key, result);      }    }      public static void main(String[] args) throws Exception {                /**         * JobConf：map/reduce的job配置类，向hadoop框架描述map-reduce执行的工作         * 构造方法：JobConf()、JobConf(Class exampleClass)、JobConf(Configuration conf)等         */                Configuration conf = new Configuration();      String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();      //这里需要配置参数即输入和输出的HDFS的文件路径      if (otherArgs.length != 2) {        System.err.println("Usage: wordcount <in> <out>");        System.exit(2);      }     // JobConf conf1 = new JobConf(WordCount.class);      Job job = new Job(conf, "word count");//Job(Configuration conf, String jobName) 设置job名称和      job.setJarByClass(WordCount.class);      job.setMapperClass(TokenizerMapper.class); //为job设置Mapper类       job.setCombinerClass(IntSumReducer.class); //为job设置Combiner类        job.setReducerClass(IntSumReducer.class); //为job设置Reduce类         job.setOutputKeyClass(Text.class);        //设置输出key的类型      job.setOutputValueClass(IntWritable.class);//  设置输出value的类型      FileInputFormat.addInputPath(job, new Path(otherArgs[0])); //为map-reduce任务设置InputFormat实现类   设置输入路径            FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//为map-reduce任务设置OutputFormat实现类  设置输出路径      System.exit(job.waitForCompletion(true) ? 0 : 1);    }  }

hadoop-2.6-winutils(hadoop.dll).zip 32位:http://download.csdn.net/download/luoyepiaoxin/8860031 或 http://download.csdn.net/detail/qq_32180909/9286567

0 0