springhadoop mapreduce wordcount

来源:互联网 发布:js统计按钮点击次数 编辑:程序博客网 时间:2024/05/17 04:20


这其中有个坑,官网介绍是可以集成2.6.0 hadoop的,不过我在执行的时候报错

java.lang.ClassNotFoundException: org.apache.hadoop.util.StopWatch

在之前的pom改成:

<dependency>    <groupId>org.apache.hadoop</groupId>    <artifactId>hadoop-common</artifactId>    <version>2.7.2</version>    <scope>compile</scope>    <exclusions>        <exclusion>            <artifactId>slf4j-log4j12</artifactId>            <groupId>org.slf4j</groupId>        </exclusion>    </exclusions></dependency>

启动App类,还是报错:

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String


好了,这个是代表windows上调试hadoop需要hadoop.dll和winutils.exe,IDEA目前还不会配这个hadoop的路径,所以先放到linux上面跑一下。


打包,执行脚本开跑,结果为:



后续看看如何在IDEA上加上hadoop路径




0 0
原创粉丝点击