maven打包hadoop项目（含第三方jar）

 maven打包hadoop项目（含第三方jar）

 

问题背景：

1 写map-reduce程序，用到第三方jar，怎么打包并提交项目到服务器执行。

2 mahout中itembased算法，将uid从string映射为long。

 

我这里实现的具体功能是：

Mahout的itembased算法的数据格式是：uid,vid,score。其中uid和vid必须是数字型（long），score是小数整数都可以。

然而我这里每行记录的字段uid,vid,score，

uid是含有字母。因此我必须把uid从string映射到long。

考虑到速度，就用分布式程序来做这个转换。

此外，还直接调用了mahout里面的一个类

org.apache.mahout.cf.taste.impl.model.MemoryIDMigrator

用Maven创建一个标准化的Java项目

mvn archetype:generate-DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.linger.mahout-DartifactId=mahoutProject -DpackageName=org.linger.mahout -Dversion=1.0-DinteractiveMode=false

 

执行mvn clean install初始化项目，注意会自动生成一个pom.xml文件。

 

修改pom.xml，

1 先把junit的去掉。

 

2 在pom.xml添加mahout依赖jar（这里先不研究mahout这些jar依赖怎么得出来的）

         <properties>                   <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>                   <mahout.version>0.8</mahout.version>         </properties>          <dependencies>                   <dependency>                            <groupId>org.apache.mahout</groupId>                            <artifactId>mahout-core</artifactId>                            <version>${mahout.version}</version>                   </dependency>                   <dependency>                            <groupId>org.apache.mahout</groupId>                            <artifactId>mahout-integration</artifactId>                            <version>${mahout.version}</version>                            <exclusions>                                     <exclusion>                                               <groupId>org.mortbay.jetty</groupId>                                               <artifactId>jetty</artifactId>                                     </exclusion>                                     <exclusion>                                               <groupId>org.apache.cassandra</groupId>                                               <artifactId>cassandra-all</artifactId>                                     </exclusion>                                     <exclusion>                                               <groupId>me.prettyprint</groupId>                                               <artifactId>hector-core</artifactId>                                     </exclusion>                            </exclusions>                   </dependency>         </dependencies>

3 在pom.xml配置jar打包选项

<build>    <plugins>         <plugin>              <artifactId>maven-assembly-plugin</artifactId>               <configuration>                    <archive>                         <manifest>                             <mainClass>org.linger.mahout.mapreducer.UserVideoFormat</mainClass>                         </manifest>                    </archive>                    <descriptorRefs>                        <descriptorRef>jar-with-dependencies</descriptorRef>                    </descriptorRefs>               </configuration>               <executions>                    <execution>                        <id>make-assembly</id>                        <phase>package</phase>                         <goals>                             <goal>single</goal>                         </goals>                    </execution>               </executions>         </plugin>    </plugins></build>

 

我写的map-reduce代码

package org.linger.mahout.mapreducer;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.FileInputFormat;import org.apache.hadoop.mapred.FileOutputFormat;import org.apache.hadoop.mapred.JobClient;import org.apache.hadoop.mapred.JobConf;import org.apache.hadoop.mapred.MapReduceBase;import org.apache.hadoop.mapred.Mapper;import org.apache.hadoop.mapred.OutputCollector;import org.apache.hadoop.mapred.Reporter;import org.apache.hadoop.mapred.TextInputFormat;import org.apache.hadoop.mapred.TextOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;import org.apache.mahout.cf.taste.impl.model.MemoryIDMigrator;public class UserVideoFormat { public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text>  {      private Text userId = new Text();       private Text lefts = new Text();       private MemoryIDMigrator thing2long = new MemoryIDMigrator();        public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException        {       String line = value.toString();       int spliter = line.indexOf(',');       String userStr = line.substring(0, spliter);       String leftsStr = line.substring(spliter+1);               userId.set(Long.toString(thing2long.toLongID(userStr)));        lefts.set(leftsStr);      output.collect(userId, lefts);       } } public static void main(String[] args) throws IOException {// TODO Auto-generated method stubJobConf conf = new JobConf(UserVideoFormat.class);conf.setJobName("UserVideoFormat");    conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(Text.class);    conf.setMapperClass(Map.class);    conf.set("mapred.textoutputformat.separator", ",");    conf.setInputFormat(TextInputFormat.class);conf.setOutputFormat(TextOutputFormat.class);String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();FileInputFormat.setInputPaths(conf, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(conf, new Path(otherArgs[1]));        JobClient.runJob(conf);}}

 

 

执行mvn package打包

在target目录下自动生成mahoutProject-1.0-jar-with-dependencies.jar

 

hadoop jar mahoutProject-1.0-jar-with-dependencies.jarinput output

注意到，由于pom.xml配置中指明该jar包的main函数，所以这里不需要再写明main函数。

否则，一般都会在jar包后面指明main函数。

 

参考资料：

用Maven构建Mahout项目

http://blog.fens.me/hadoop-mahout-maven-eclipse/

Hadoop Job使用第三方依赖jar文件

http://shiyanjun.cn/archives/373.html

mahout做推荐时uid，pid为string类型

http://blog.csdn.net/pan12jian/article/details/38703569

本文链接：http://blog.csdn.net/lingerlanlan/article/details/42086623

本文作者：linger