HDFS文件管理系统

1. 软件版本 &部署：

maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，MySql：5.1.34，Junit：4，Myeclipse：2014；

Hadoop2.6.4

源码下载地址： https://github.com/fansy1990/ssh_v3/releases

项目部署：

1） 修改src/main/resource 下的jdbc.properties 中对应的数据库配置，为本地配置；

并在hdfsuser中添加两条记录：

2） 修改src/main/resource 下的hadoop.properties 为本地机器配置；

其中 ：hdfs.ssh.client.host=192.168.0.80 、hdfs.ssh.client.port=22 配置为何fs.defaultFS同样的ip即可，端口是指Linux远程连接的端口，一般默认是22；

3） 需要把maven的依赖加入到项目部署的web-info/lib下面：

4） 查看项目部署路径：

5）把项目直接deploy到tomcat中，浏览器直接访问http://localhost:8080/v3即可；

2. 系统功能界面&核心代码实现：

项目使用Maven构建Hadoop相关依赖以及ssh（Linux远程连接）依赖，其pom.xml如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>ssh</groupId><artifactId>v2</artifactId><version>0.0.1-SNAPSHOT</version><packaging>jar</packaging><name>v2</name><url>http://maven.apache.org</url><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><spring.version>4.2.5.RELEASE</spring.version><struts2.version>2.3.24.1</struts2.version><hibernate.version>4.3.6.Final</hibernate.version><dbcp.version>1.4</dbcp.version><mysql.version>5.1.34</mysql.version><junit.version>4.11</junit.version><json.version>1.1.36</json.version><hadoop.version>2.6.4</hadoop.version><ssh2-version>262</ssh2-version></properties><dependencies><!--  添加ssh2 java相关maven --><dependency><groupId>ch.ethz.ganymed</groupId><artifactId>ganymed-ssh2</artifactId><version>${ssh2-version}</version></dependency><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>${json.version}</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>${spring.version}</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-web</artifactId><version>${spring.version}</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-test</artifactId><version>${spring.version}</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-aspects</artifactId><version>${spring.version}</version></dependency><dependency><groupId>commons-dbcp</groupId><artifactId>commons-dbcp</artifactId><version>${dbcp.version}</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>${mysql.version}</version></dependency><dependency><groupId>org.springframework</groupId><artifactId>spring-orm</artifactId><version>${spring.version}</version></dependency><dependency><groupId>org.hibernate</groupId><artifactId>hibernate-core</artifactId><version>${hibernate.version}</version></dependency><dependency><groupId>org.apache.struts</groupId><artifactId>struts2-core</artifactId><version>${struts2.version}</version></dependency><dependency><groupId>org.apache.struts</groupId><artifactId>struts2-spring-plugin</artifactId><version>${struts2.version}</version></dependency><dependency><groupId>org.apache.struts</groupId><artifactId>struts2-junit-plugin</artifactId><version>${struts2.version}</version></dependency><dependency><groupId>javax.servlet</groupId><artifactId>javax.servlet-api</artifactId><version>3.0.1</version><scope>provided</scope></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>${junit.version}</version><scope>test</scope></dependency><!-- 添加hadoop支持 --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>${hadoop.version}</version><exclusions><exclusion><groupId>javax.servlet</groupId><artifactId>servlet-api</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-auth</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version><exclusions><exclusion><groupId>javax.servlet</groupId><artifactId>servlet-api</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-jobclient</artifactId><version>${hadoop.version}</version></dependency></dependencies></project>

2.1 登录&注册

登录界面：

在登录界面可以直接跳转到注册界面，注册中的邮箱是唯一值，即用户名可以一样，但是邮箱不能一样；用户注册默认拥有的权限是Authority.USER，也即是在数据库中存储的是1，这个权限在后面有用；

用户登录后，进入系统界面：

在右上是系统登录用户名以及帮助信息（目前只包含注销功能）；右边是导航，包含系统所有功能；

2.2 目录

目前目录相关功能：目录浏览、目录检索是类似的，目录检索的功能包含目录浏览；

目录检索：

点击abc，直接可以进入到abc的目录；同时，目录也会有相应的变化

同时可以进行，目录的文件名、所有者进行过滤：

可以返回上一级，以及返回根目录；

这里的分页使用的方式是，直接查询该目录下所有的文件及文件夹，然后根据分页的当前页以及每页个数进行截取，所以这里的效率是比较低的；

后台代码：

/** * 检索文件夹 先检查权限 *  * @return * @throws IOException * @throws IllegalArgumentException * @throws FileNotFoundException */public void searchFolder() throws FileNotFoundException,IllegalArgumentException, IOException {List<HdfsResponseProperties> files = this.hdfsService.searchFolder(hdfsFile.getFolder(), hdfsFile.getName(), hdfsFile.getNameOp(),hdfsFile.getOwner(), hdfsFile.getOwnerOp());Map<String, Object> jsonMap = new HashMap<String, Object>();jsonMap.put("total", files.size());jsonMap.put("rows", getProperFiles(files, page, rows));Utils.write2PrintWriter(JSON.toJSONString(jsonMap));return;}

这里看到从service得到所有的数据后，调用了getProperFiles方法：

private List<HdfsResponseProperties> getProperFiles(List<HdfsResponseProperties> files,int page, int rows) {return files.subList((page-1)*rows, page*rows>files.size()?files.size():page*rows);}

在service中的方法是获取所有数据的，如下：

public List<HdfsResponseProperties> searchFolder(String folder,String name, String nameOp, String owner, String ownerOp)throws FileNotFoundException, IllegalArgumentException, IOException {List<HdfsResponseProperties> files = new ArrayList<>();FileSystem fs = HadoopUtils.getFs();FileStatus[] filesStatus = fs.listStatus(new Path(folder));for (FileStatus file : filesStatus) {if (!checkName(file.getPath().getName(), name, nameOp))continue; // 名字没有检查通过，则下一个if (!checkName(file.getOwner(), owner, ownerOp))continue; // owner没有检查通过，则下一个files.add(Utils.getDataFromLocatedFileStatus(file));}return files;}

目录删除

目录删除分为递归和非递归，当然一般如果要删除的话就是递归删除，如果目录下面还有其他目录，那么非递归删除，就会报错：

2.3 文件

文件查看：

在目录检索中，如果点击的是非目录，就会有相应的提示：

所以针对文件，可以使用文件查看功能，目前支持文本文件和使用内置的key、value生成的序列文件读取

序列化文件读取及支持的内置键值对类型：

/** * 读取序列文件 *  * @param fileName * @param records * @return * @throws IOException */public static String readSeq(String fileName, int records)throws IOException {Configuration conf = getConf();SequenceFile.Reader reader = null;StringBuffer buffer = new StringBuffer();try {reader = new SequenceFile.Reader(conf, Reader.file(new Path(fileName)), Reader.bufferSize(4096), Reader.start(0));Writable dkey = (Writable) ReflectionUtils.newInstance(reader.getKeyClass(), conf);Writable dvalue = (Writable) ReflectionUtils.newInstance(reader.getValueClass(), conf);while (reader.next(dkey, dvalue) && records-- > 0) {// 循环读取文件buffer.append(getValue(dkey)).append("\t").append(getValue(dvalue)).append("<br>");}} catch (Exception e) {e.printStackTrace();throw e;} finally {IOUtils.closeStream(reader);}return buffer.toString();}/** * 获得writable 的实际值 *  * @param writable * @return */private static String getValue(Writable writable) {if (writable instanceof Text) {return writable.toString();}if (writable instanceof LongWritable) {return String.valueOf(((LongWritable) writable).get());}if (writable instanceof IntWritable) {return String.valueOf(((IntWritable) writable).get());}if (writable instanceof ShortWritable) {return String.valueOf(((ShortWritable) writable).get());}if (writable instanceof DoubleWritable) {return String.valueOf(((DoubleWritable) writable).get());}if (writable instanceof BooleanWritable) {return String.valueOf(((BooleanWritable) writable).get());}return null;}

文件上传：

文件上传可以直接上传客户端文件到HDFS上：

2.4 权限管理

这里的权限管理不是指的hdfsuser数据库中的权限，这里先说下hdfsuser中的authority是用来干嘛的，这个是指如果用户拥有Authority.Administrator权限，即authority=0，那么就可以打开权限管理页面：（其他用户不可以打开此页面）

tomcat启动的时候，绑定的HDFS账号权限默认使用root，也就是任何用户在操作HDFS时，使用的都是root账号，这也就是意味着，在进行目录及文件相关操作时，进行的权限检查使用的是root账号。比如在进行文件上传时，上传的文件其用户显示的就是root。如果绑定其他用户，比如hadoop，那么显示的就是hadoop账号（上传的文件的所有者）；

此页面在管理员输入HDFS用户名和密码后需要先进行“验证”，然后才能“更新”；

验证：会使用ssh（Linux远程连接）测试此用户是否可以连接 hdfs.ssh.client.host 这个机器；

/** * 权限验证 */public void authCheck() {Map<String, Object> map = new HashMap<>();// 进行ssh权限验证boolean hasHdfsLoginAuth = Utils.canLogin(hadoopUserName,hadoopPassword);ActionContext context = ActionContext.getContext();Map session = context.getSession();if (!hasHdfsLoginAuth) {map.put("flag", "false");map.put("msg", "HDFS用户名或密码错误！");session.put("authCheck", "false");// 用于验证 ,更新数据库时} else {map.put("flag", "true");session.put("authCheck", "true");session.put("tmpHadoopUserName", hadoopUserName);// 临时存储，防止验证和更新使用的是不一样的用户名session.put("tmpHadoopPassword", hadoopPassword);// 临时存储，防止验证和更新使用的是不一样的密码}Utils.write2PrintWriter(JSON.toJSONString(map));return;}

/** * ssh远程是否可登录 *  * @param hdfsUserName * @param hdfsPassword * @return */public static boolean canLogin(String hdfsUserName, String hdfsPassword) {// hdfsPassword 解密// TODO 未完成// ssh远程检查用户名和密码String hostname = HadoopUtils.getPropertyValue("hdfs.ssh.client.host");int port = Integer.parseInt(HadoopUtils.getPropertyValue("hdfs.ssh.client.port"));try {Connection conn = new Connection(hostname, port);conn.connect();boolean isAuthenticated = conn.authenticateWithPassword(hdfsUserName, hdfsPassword);return isAuthenticated;} catch (Exception e) {e.printStackTrace();return false;}}

更新：会先检查“验证”的状态，如果没有验证，那么就不能更新，更新操作会refresh session中的值，同时会更新HDFS的FileSystem；

/** * 更新 绑定的hadoop用户密码 * @param username * @param password */public static void updateHadoopUserNamePassword(String username,String password){if(username!=null){hadoopUserName= username;}else{hadoopUserName="null";}if(password!=null){setHadoopPassword(password);}else{setHadoopPassword("null") ;}initFs();// 重新初始化}

3. 总结：

1）本系统较多使用的其实还是easyui，js及spring、hibernate、Struts的技术，关于hadoop的相关操作，只是FileSystem的一些API的使用；

2）权限管理，本来是想一个用户配置一个HDFS相关的账号，但是查看了FileSystem的api，感觉绑定的账号只能一个，针对不同的账号来回切换太麻烦了，所以就直接采用一个，然后使用管理员来更新；

3）系统还存在一些bug，比如文件查看，如果读取的数据编码格式有问题，那么也是显示不出来的，同时前台没有任何提示；

4）目录检索功能还可以把目录新增、目录删除、文件查看等功能进行整合，全部放到一个页面；

5）文件上传的进度条并不是真实反映上传进度的（这个上传受限于HDFS的相关API，并没有获取上传进度的API供参考调用）；

分享，成长，快乐

脚踏实地，专注

转载请注明blog地址：http://blog.csdn.net/fansy1990