Mac上第一个eclipse编译的Hadoop程序

来源：互联网发布：端口参数液晶智能电视编辑：程序博客网时间：2024/06/05 18:12

参考博客

手把手教你安装mac版hadoop2.7.3教程
Mac Hadoop的安装与配置
Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied:
Mac上的第一个hadoop小demo
Mac OSX下配置和启动hadoop以及常见错误解决
hadoop学习之二:mac下hadoop+eclipse环境搭建

编写第一个Hadoop程序
新建一个Hadoop项目
这里写图片描述
配置 Map/Reduce Locations
Windows—show view—Other—— Map…
新建一个Hadoop local,我的端口为9000，点击确定

在右侧DFS就会出现你创建的Hadoop local,点击就能看到你创建的文件目录

新建HdfsClientDemo.java
中间的koukouken是我的用户名，需要改成你对应的用户名

package testHadoop;import java.net.URI;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.RemoteIterator;import org.junit.Before;import org.junit.Test;/** *  * 客户端去操作hdfs时，是有一个用户身份的 * 默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=koukouken *  * 也可以在构造客户端fs对象时，通过参数传递进去 * @author * */public class HdfsClientDemo {    FileSystem fs = null;    Configuration conf = null;    @Before    public void init() throws Exception{        conf = new Configuration();        conf.set("fs.defaultFS", "hdfs://localhost:9000");        //拿到一个文件系统操作的客户端实例对象        /*fs = FileSystem.get(conf);*/        //可以直接传入 uri和用户身份        fs = FileSystem.get(new URI("hdfs://localhost:9000"),conf,"koukouken"); //最后一个参数为用户名    }    @Test    public void testUpload() throws Exception {        Thread.sleep(2000);        fs.copyFromLocalFile(new Path("/Users/koukouken/hadoop/access.log"), new Path("/access.log.copy"));        fs.close();    }    @Test    public void testDownload() throws Exception {        fs.copyToLocalFile(new Path("/access.log.copy"), new Path("/Users/koukouken/hadoop"));        fs.close();    }    @Test    public void testConf(){        Iterator<Entry<String, String>> iterator = conf.iterator();        while (iterator.hasNext()) {            Entry<String, String> entry = iterator.next();            System.out.println(entry.getValue() + "--" + entry.getValue());//conf加载的内容        }    }    /**     * 创建目录     */    @Test    public void makdirTest() throws Exception {        boolean mkdirs = fs.mkdirs(new Path("/user/aaa/bbb"));        System.out.println(mkdirs);    }    /**     * 删除     */    @Test    public void deleteTest() throws Exception{        boolean delete = fs.delete(new Path("/user/aaa"), true);//true， 递归删除        System.out.println(delete);    }    @Test    public void listTest() throws Exception{        FileStatus[] listStatus = fs.listStatus(new Path("/"));        for (FileStatus fileStatus : listStatus) {            System.err.println(fileStatus.getPath()+"================="+fileStatus.toString());        }        //会递归找到所有的文件        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);        while(listFiles.hasNext()){            LocatedFileStatus next = listFiles.next();            String name = next.getPath().getName();            Path path = next.getPath();            System.out.println(name + "---" + path.toString());        }    }    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        conf.set("fs.defaultFS", "hdfs://localhost:9000");        //拿到一个文件系统操作的客户端实例对象        FileSystem fs = FileSystem.get(conf);        fs.copyFromLocalFile(new Path("/Users/koukouken/hadoop/access.log"), new Path("/access.log.copy"));        fs.close();    }}

执行完中间的测试代码，点击如图所示Disconnect即可看到文件是否创建成功
这里写图片描述
可能出现一些权限的错误，Hadoop修改权限的方式

hadoop fs -chmod 777 /user/koukouken

阅读全文

0 0