hadoop+maven工程伪分布下实例运行

首先希望能够把本地的一些资源能够上传到hdfs当中，利用伪分布的格式分析工程的运行情况：执行put操作的时候出错
hadoop报错：could only be replicated to 0 nodes, instead of 1
出现错误之后利用jps查看已经启动的节点
但是发现datanode没有启动，因此stop-all所有的节点，重新格式化namenode节点，然后重新进行启动就可以了
首先介绍hdfs中常用的一些命令
hadoop fs -mkdir /user/trunk
hadoop fs -ls /user
hadoop fs -lsr /user (递归的)
hadoop fs -put test.txt /user/trunk
hadoop fs -put test.txt . (复制到hdfs当前目录下，首先要创建当前目录)
hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下)
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最后1000字节)
hadoop fs -rm /user/trunk/test.txt
hadoop fs -help ls (查看ls命令的帮助文档)…….
感觉其实和一些常规的linux下的命令是差不多的

一 拷贝数据
hadoop fs -mkdir /user
hadoop fs -mkdir /user/trunck
创建新的hdfs上的文件目录
将本地的文件拷贝到其中
hadoop fs -put ~/Documents/wrong.txt /user/trunck
之后尝试用伪分布的结构跑一下wordcount的程序
可以看一下当前对应的目录下已经有这个文件了
hadoop fs -ls /user/trunck

二 新建一个maven的工程
利用maven工程在工程配置中的一些依赖项等比较好处理
可以利用在命令行中进行声明的方式
mvn archetype:create -DgroupId=com.demo.maven -DartifactId=mavenDemo
也可以通过在eclipse下配置完成了maven插件之后进行创建
创建完成后看到的结构是：

修改pom.xml中增加工程对hadoop的依赖情况

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">  <modelVersion>4.0.0</modelVersion>  <groupId>com.testHadoop</groupId>  <artifactId>testHadoop</artifactId>  <version>0.0.1-SNAPSHOT</version>  <packaging>jar</packaging>  <name>testHadoop</name>  <url>http://maven.apache.org</url>  <properties>    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>  </properties>  <dependencies>    <dependency>    <groupId>org.apache.hadoop</groupId>    <artifactId>hadoop-core</artifactId>    <version>1.0.3</version>    </dependency>    <dependency>      <groupId>junit</groupId>      <artifactId>junit</artifactId>      <version>3.8.1</version>      <scope>test</scope>    </dependency>  </dependencies></project>

经过刷新之后可以看到在dependences中会出现下载好的jar依赖包
存储在/Ursers/usrname/.m2/repository当中
修改文中的代码

import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;import org.apache.hadoop.mapred.*;public class WordCount {public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) {   word.set(tokenizer.nextToken());   output.collect(word, one); }}}public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { int sum = 0; while (values.hasNext()) {   sum += values.next().get(); } output.collect(key, new IntWritable(sum));}}public static void main(String[] args) throws Exception {JobConf conf = new JobConf(WordCount.class);conf.setJobName("wordcount");conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritable.class);conf.setMapperClass(Map.class);conf.setReducerClass(Reduce.class);conf.setInputFormat(TextInputFormat.class);conf.setOutputFormat(TextOutputFormat.class);FileInputFormat.setInputPaths(conf, new Path(args[0]));FileOutputFormat.setOutputPath(conf, new Path(args[1]));JobClient.runJob(conf);}}

依旧是一个统计词频的代码，和上一篇当中没有太大的变化
在maven工程建立之后，是可以直接通过命令创建对应的jar文件，分别是
mvn clean
mvn install
mvn package
在这里打包代码的输入是通过传递参数输入的
在命令行中执行
bash-3.2$ hadoop jar ~/project/testHadoop/target/testHadoop-0.0.1-SNAPSHOT.jar com.testHadoop.testHadoop.WordCount /user/trunck/wrong.txt /user/trunck/output
首先是打包的jar文件，然后是需要执行的类的结构，之后是输入的文件和输出的文件目录，输出的文件目录会自己进行新建
之后会看到输出：

输出文件中的值

三 输入多个文件
首先进行多次拷贝在一个目录下
那么整体计算出来的数据就是3倍了

计算出来的结果：