基于Hadoop1.0.4的分布式云网盘(转载)

来源：互联网发布：android完整浏览器源码编辑：程序博客网时间：2024/05/18 02:05

基于Hadoop1.0.4的分布式云网盘

基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。

主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Master主节点上使用Tomcat进行部署。
功能简介：
1、上传/下载各类型文件，文件类型、大小不限，不超过账号所属容量即可。
2、可多文件上传，暂不支持文件夹上传。
3、支持在线文档转pdf格式，能够在线预览（整合OpenOffice.org、SWFTools和FlexPaperViewer）
4、支持在线播放音频文件，在线预览图片
5、由于转码等问题，目前只支持在线播放flv视频文件
6、支持各类型文件查看（加入了正则表达式遍历文件夹），例如：我的图片、我的音乐。
7、支持二维码下载文件（手机或者平板需使用内网接入）

暂时未实现的功能：
1、暂时未使用MD5进行文件校验，因此上传相同的文件到同一文件夹下使用的是覆盖操作，也没有“文件秒传”的功能（进行判断是否该文件已存在系统中）
2、由于没有使用数据库，因此暂无在线注册功能，目前采用的是xml文件进行用户账户和密码的配存储。
3、由于没有使用数据库，“我的分享”、“我的收藏”模块暂未完成。

性能/安全分析：
1、由于目前集群中的Slave节点采用的是静态IP（受限于广西大学大学的DHCP机制，如果使用DHCP进行或者172的IP有可能动态变化，不利于Hadoop集群进行联网工作），因此，目前采取在Master节点上进行双IP的配置，静态IP负责
与内部Slave各节点通信，外部172打头的IP提供web访问服务，因此，造成的瓶颈是：所有数据的存储流量都走Master节点。
2、由于都走Master节点进行存储，无法做负载均衡机制。
3、目前还未对数据进行加密处理，管理人员可通过后台管理入口访问用户数据。

注：由于集群部署在广西大学内网，因此只有是在内网环境的主机，手机，平板才可正常使用。

以下是网盘的功能展示截图：
电脑访问：
1、网盘首页