Hipi 文件操作的相关方法(上传图片部分)
来源:互联网 发布:北科大东凌经管知乎 编辑:程序博客网 时间:2024/06/08 10:09
hipi是用于 处理小文件的类,核心包是hipi-2.0.jar
用的比较多的类是hipiimagebundle 他的父类是 abstractimagebundle
上传文件时,加载hadoop的配置文件信息,直接用configration conf = new configration(); conf.set("fs.defaultfs");来获取到相关配置信息。
第一次上传文件,加载完配置信息,穿件一个hipiimagebundle对象来把你上传的图片进行打包处理
这个hib对象 在服务器端会有一个元数据文件 和数据文件。分别保存图片的信息元数据 和 文件数据。
具体 代码: (有别的代码的包,jar包文件 只需要hipi 和 hadoop的包即可)
package com.cee.common.util;
import hipi.imagebundle.HipiImageBundle;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import com.cee.common.SysParameter;
import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2.Session;
import ch.ethz.ssh2.StreamGobbler;
// params imagefilepath 图片文件夹的路径 hdfsvalue 你的hadoop环境的绝对路径 like hdfs://172.1.23.145:9000
// tohibpath 建立后新的hib的相对路径 blocksize看源码不知道啥意思 但是默认是 0 写 0 就好了
// fromhibpath 第一次上传文件不需要该参数,以后上传,该参数则表明上次hib文件的相对路径
public static boolean uploadAndMerge(String imageFilePath, String hdfsValue, String toHibPath, int blockSize, String fromHibPath)
throws IOException
{
boolean complete = false;
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfsValue);
Path path = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(toHibPath).toString());
HipiImageBundle hib = new HipiImageBundle(path, conf, blockSize);
hib.open(2);
File f = null;
f = new File(imageFilePath);
File files[] = f.listFiles();
int number = 0;
File afile[];
int j = (afile = files).length;
for (int i = 0; i < j; i++)
{
File file = afile[i];
if (isJPEGImage(file))
{
FileInputStream fis = new FileInputStream(file);
hib.addImage(fis, hipi.image.ImageHeader.ImageType.JPEG_IMAGE);
fis.close();
number++;
}
}
/* Path fromPath = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(fromHibPath).toString());
System.out.println("tohib"+toHibPath+" frompath"+fromHibPath+" hdfs"+hdfsValue);
HipiImageBundle fromHib = new HipiImageBundle(fromPath, conf);
hib.append(fromHib); */
hib.close();
complete = true;
return complete;
}
以上代码注释掉的代码为第二次及以后上传文件才需要用到的代码。
这也是我一直没有解决掉的问题,第N次 上传文件 不能把上次的Hib对象 和本次图片文件打包到一起,只能先把本次文件打包成一个hib对象,然后再追加上次的hib对象
这是一个非常恶心的地方。
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
这段代码和上传文件一点关系没有,你也可以不加,控制台会报一堆无关痛痒的错误,很难受
要么在本机的测试环境上加上hadoop的环境变量
关于代码里判断文件是不是jpg后缀什么的 我就懒得写了。。这个能搞这个都会。
- Hipi 文件操作的相关方法(上传图片部分)
- Hipi 文件的相关操作 Hib建立索引部分。
- Hipi相关操作,文件搜索部分
- Hipi相关操作,搜索图片
- Yii文件(图片)上传时相关的方法
- Yii文件(图片)上传时相关的方法
- 文件上传的相关方法
- springmvc 文件上传,图片上传的方法
- javascript对上传文件的相关操作
- 文件上传漏洞的相关绕过方法
- zk文件上传方法部分
- django的文件 图片上传(简单方法)
- Retrofit 文件(图片)和参数同时上传的方法
- js实现文件上传,图片本地预览(部分代码是借鉴的)
- AppCan的图片、文件操作、上传、下载操作 From Ken
- php学习基础-文件系统(三) 文件夹的相关操作、php文件上传、php文件下载
- Seam文件(图片)上传及相关学习记录
- Android 上传文件,图片。以及服务器端接收相关(转载)。
- 网易游戏2016实习生招聘在线笔试:A 推箱子
- Android Orientation Sensor(方向传感器)详解与应用
- LInux : 运行Windows程序, 基于Wine 的Crossover, 下载地址
- EditPlus 3.7激活码注册码
- Auto Layout中的contraints设置的一些体会
- Hipi 文件操作的相关方法(上传图片部分)
- C++内存分配方式详解
- opengl视图概念,固定管线渲染下的实例演示——物体坐标到屏幕坐标,屏幕坐标到物体坐标
- Big Endian和Little Endian的区别
- linux shell 将多行文件转换为一行
- Lua 模式匹配(string库的使用)
- Node.js express获取参数有三种方法
- Hadoop日志存放路径详解
- zcat %s | awk '{print $8}' | sort -u的含义