快速在Window本地运行hadoop(包括hadoop的hdfs，mapreduce)

来源：互联网发布：蜂群算法 abc 编辑：程序博客网时间：2024/05/18 01:05

window下运行HDFS

第一步：设置hadoop的在Window下运行配置

A、将hadoop（windows平台下编译的hadoop）安装包解压一份到windows的任意一个目录下（安装包见下面链接）（注意我的安装包下

已经有winutils.exe这个重要文件了，这个文件是我主动放进去的，必需的）

安装包连接 https://pan.baidu.com/s/1skB28aT

B、在window系统中配置HADOOP_HOME指向你解压的安装包目录

C、在windows系统的path变量中加入HADOOP_HOME的bin目录

D、重启电脑

第二步：引入hdfs的pom依赖

<dependency>    <groupId>org.apache.hadoop</groupId>    <artifactId>hadoop-common</artifactId>    <version>2.6.1</version></dependency><dependency>    <groupId>org.apache.hadoop</groupId>    <artifactId>hadoop-hdfs</artifactId>    <version>2.6.1</version></dependency>

第三步：hdfs的小程序

public class HdfsTest {    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        //注意这个地方是设置fs.defaultFS不是dfs.defaultFS        conf.set("fs.defaultFS","hdfs://hadoop01:9000");        //设置副本数        conf.set("dfs.replication", "3");        FileSystem fs = FileSystem.get(conf);        fs.copyFromLocalFile(new Path("E:\\bigDataDevelop-all-software\\testData\\wordCount.txt"),new Path("/aaa"));//        conf.set("dfs.defaultFS", args[0]);        //这种方式不用设置dfs.defaultFs默认文件地址//        FileSystem hadoop = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "root");        //上传文件,args[1]本地路径，args[2]hdfs路径//        fs.copyFromLocalFile(new Path(args[1]),new Path(args[2]));        fs.close();    }}

第四步：在idea中的 VM options 中设置

-DHADOOP_USER_NAME=root

让用户以root身份运行

（也可以在程序中写死，例如：

FileSystem hadoop = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "root");

）

阅读全文

0 0