hadoop2.6.0编译使用

来源：互联网发布：工程量预算软件编辑：程序博客网时间：2024/05/21 17:24

1，下载hadoop2.6.0-src源码
2，环境变量设置
java jdk1.7
maven
protobuf2.5.0
依赖一些编译软件可以使用： $sudo apt-get install build-essential

ant1.8
3，安装到本地库
mvn install -DskipTests
4,打包
mvn package -Pdist,native -DskipTests -Dtar
5,创建mvn项目，并依赖hadoop的jar包（按需）
编写mr程序
6，创建包含所有依赖（jar），脚本，配置文件的jar
、使用mvn assembly

 <build>        <plugins>            <plugin>                <artifactId>maven-assembly-plugin</artifactId>                <configuration>                    <finalName>gmt</finalName>                    <archive>                        <manifest>                            <mainClass>                                com.xxx.GMT                            </mainClass>                        </manifest>                    </archive>                    <descriptorRefs>                        <descriptorRef>                            jar-with-dependencies                        </descriptorRef>                    </descriptorRefs>                </configuration>            </plugin>        </plugins>    </build>

运行：mvn assembly:assembly产生的xx-jar-with-dependencies-xx.jar这个jar就可以在hadoop环境中运行**

注：mvn中的依赖如果scope是system，test等使用assembly不能包含进jar包，
最好的方式是使用mvn install:install-file -Dfile=xx -DgroupId=xx -DartifactId=xx -Dversion=xx 安装到本地mvn库中

0 0