第一个hadoop程序（java程序访问hadoop的hdfs文件系统中的文件）

来源：互联网发布：js中html方法编辑：程序博客网时间：2024/04/29 23:18

1：hadoop2.7.3环境

2：阿里云服务器centos6.5，ip是：47.88.14.190

3：hadoop在伪分布式下运行的。

4：具体配置文件如下：

1）core-site.xml配置（ip地址最好不用localhost，不然不好测试）

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://47.88.14.190:9000</value>
        </property>
</configuration>

2）hdfs-site.xml配置（配置副本为1，也就是伪分布式）

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

3）mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>47.88.14.190:8021</value>
        </property>
</configuration>

5:注意，4中的配置文件的端口号很重要，因为java程序访问hadoop的时候就要用这些端口。

6：运行hadoop，执行sbin/start-all.sh

7：在centos6.5中执行，hadoop fs -mkdir /test

8：上传test.txt到hadoop的文件系统中去， hadoop fs -copyFromLocal /usr/text.txt /test

9：新建一个java程序，读取hadoop文件系统中的/test/text.txt文件。（注意端口号9000就是core-site.xml中配置的端口号）

import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class FileSystemCat {public static void main(String[] args) throws Exception {String uri="hdfs://47.88.14.190:9000/test/test.txt";Configuration configuration=new Configuration();FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);FSDataInputStream in=null;in=fileSystem.open(new Path(uri));//FileStatus fileStatus=fileSystem.getFileStatus(new Path(uri));//byte[] buffer=new byte[1024];//in.read(4096, buffer, 0, 1024);IOUtils.copyBytes(in, System.out, 4096, false);IOUtils.closeStream(in);}}

10：jar包问题，很多人，将我上面的代码拷贝到自己的eclipse中，发现缺少了jar，然后问题来了，我们需要导入哪些jar包呢？

我的建议是初学者安装hadoop-eclipse-plugins-2.7.3.jar插件,这个插件网上可以下载，安装后，可以直接右键新建Map/Reduce工程，自动帮我们导入hadoop开发需要的相关jar包，这样就不存在ClassNotFound异常了。

0 0