MR环境配置

来源：互联网发布：百度地图坐标数据库编辑：程序博客网时间：2024/04/29 13:12

(一)首先用maven生成一个项目
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes
-DgroupId=com.second.mr
-DartifactId=MRSecond
-DpackageName=com.second.mr
-Dversion=1.0-SNAPSHOT
-DinteractiveMode=false
其中：
1)archetype:generate 快速勾勒出项目骨架
2)-DarchetypeGroupId 指定archetype插件所属的groupid
3)-DgroupId 指定要创建项目的groupId，根据自己项目情况做相应修改
4)-DartifactId 指定要创建的构建ID
5)-DpackageName 指定包名
6)-Dversion 标明版本号
7)-DinteractiveMode 表示是否使用交互模式

（二）使用Eclipse导入maven项目（要确保先安装maven插件）

（三）找到maven的settings.xml，加入cloudera库

  <profile>      <id>cdh</id>      <repository>        <id>cloudera</id>        <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>        <releases>          <enabled>true</enabled>        </releases>        <snapshots>          <enabled>true</enabled>        </snapshots>      </repository>    </profile>

（四）修改pom.xml，加入hadoop依赖，这里我为了简单，使用的是hadoop-mapreduce-examples-2.6.0.jar中的pom文件

（五）然后进入当前目录下生成的MRSecond目录中，并使用mvn clean install，这表示将指定的jar包安装到maven本地仓库中

（六）将Hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml拷贝至src/main/resource中

（七）写入WordCount类

（八）Ecliple使用MR插件，直接将hadoop-eclipse-plugin-2.6.0.jar放进Eclipse的plugins目录，重启Ecliple即可

（九）打开Eclipse的MR界面，在open view中选择MR即可

（十）在WordCount类中直接run即可，或者打包出来放到hadoop环境中运行

0 0