Hipi 文件操作的相关方法(上传图片部分)
2015-05-21 11:14
323 查看
hipi是用于 处理小文件的类,核心包是hipi-2.0.jar
用的比较多的类是hipiimagebundle 他的父类是 abstractimagebundle
上传文件时,加载hadoop的配置文件信息,直接用configration conf = new configration(); conf.set("fs.defaultfs");来获取到相关配置信息。
第一次上传文件,加载完配置信息,穿件一个hipiimagebundle对象来把你上传的图片进行打包处理
这个hib对象 在服务器端会有一个元数据文件 和数据文件。分别保存图片的信息元数据 和 文件数据。
具体 代码: (有别的代码的包,jar包文件 只需要hipi 和 hadoop的包即可)
package com.cee.common.util;
import hipi.imagebundle.HipiImageBundle;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import com.cee.common.SysParameter;
import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2.Session;
import ch.ethz.ssh2.StreamGobbler;
// params imagefilepath 图片文件夹的路径 hdfsvalue 你的hadoop环境的绝对路径 like hdfs://172.1.23.145:9000
// tohibpath 建立后新的hib的相对路径 blocksize看源码不知道啥意思 但是默认是 0 写 0 就好了
// fromhibpath 第一次上传文件不需要该参数,以后上传,该参数则表明上次hib文件的相对路径
public static boolean uploadAndMerge(String imageFilePath, String hdfsValue, String toHibPath, int blockSize, String fromHibPath)
throws IOException
{
boolean complete = false;
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfsValue);
Path path = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(toHibPath).toString());
HipiImageBundle hib = new HipiImageBundle(path, conf, blockSize);
hib.open(2);
File f = null;
f = new File(imageFilePath);
File files[] = f.listFiles();
int number = 0;
File afile[];
int j = (afile = files).length;
for (int i = 0; i < j; i++)
{
File file = afile[i];
if (isJPEGImage(file))
{
FileInputStream fis = new FileInputStream(file);
hib.addImage(fis, hipi.image.ImageHeader.ImageType.JPEG_IMAGE);
fis.close();
number++;
}
}
/* Path fromPath = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(fromHibPath).toString());
System.out.println("tohib"+toHibPath+" frompath"+fromHibPath+" hdfs"+hdfsValue);
HipiImageBundle fromHib = new HipiImageBundle(fromPath, conf);
hib.append(fromHib); */
hib.close();
complete = true;
return complete;
}
以上代码注释掉的代码为第二次及以后上传文件才需要用到的代
a8ef
码。
这也是我一直没有解决掉的问题,第N次 上传文件 不能把上次的Hib对象 和本次图片文件打包到一起,只能先把本次文件打包成一个hib对象,然后再追加上次的hib对象
这是一个非常恶心的地方。
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
这段代码和上传文件一点关系没有,你也可以不加,控制台会报一堆无关痛痒的错误,很难受
要么在本机的测试环境上加上hadoop的环境变量
关于代码里判断文件是不是jpg后缀什么的 我就懒得写了。。这个能搞这个都会。
用的比较多的类是hipiimagebundle 他的父类是 abstractimagebundle
上传文件时,加载hadoop的配置文件信息,直接用configration conf = new configration(); conf.set("fs.defaultfs");来获取到相关配置信息。
第一次上传文件,加载完配置信息,穿件一个hipiimagebundle对象来把你上传的图片进行打包处理
这个hib对象 在服务器端会有一个元数据文件 和数据文件。分别保存图片的信息元数据 和 文件数据。
具体 代码: (有别的代码的包,jar包文件 只需要hipi 和 hadoop的包即可)
package com.cee.common.util;
import hipi.imagebundle.HipiImageBundle;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import com.cee.common.SysParameter;
import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2.Session;
import ch.ethz.ssh2.StreamGobbler;
// params imagefilepath 图片文件夹的路径 hdfsvalue 你的hadoop环境的绝对路径 like hdfs://172.1.23.145:9000
// tohibpath 建立后新的hib的相对路径 blocksize看源码不知道啥意思 但是默认是 0 写 0 就好了
// fromhibpath 第一次上传文件不需要该参数,以后上传,该参数则表明上次hib文件的相对路径
public static boolean uploadAndMerge(String imageFilePath, String hdfsValue, String toHibPath, int blockSize, String fromHibPath)
throws IOException
{
boolean complete = false;
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfsValue);
Path path = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(toHibPath).toString());
HipiImageBundle hib = new HipiImageBundle(path, conf, blockSize);
hib.open(2);
File f = null;
f = new File(imageFilePath);
File files[] = f.listFiles();
int number = 0;
File afile[];
int j = (afile = files).length;
for (int i = 0; i < j; i++)
{
File file = afile[i];
if (isJPEGImage(file))
{
FileInputStream fis = new FileInputStream(file);
hib.addImage(fis, hipi.image.ImageHeader.ImageType.JPEG_IMAGE);
fis.close();
number++;
}
}
/* Path fromPath = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(fromHibPath).toString());
System.out.println("tohib"+toHibPath+" frompath"+fromHibPath+" hdfs"+hdfsValue);
HipiImageBundle fromHib = new HipiImageBundle(fromPath, conf);
hib.append(fromHib); */
hib.close();
complete = true;
return complete;
}
以上代码注释掉的代码为第二次及以后上传文件才需要用到的代
a8ef
码。
这也是我一直没有解决掉的问题,第N次 上传文件 不能把上次的Hib对象 和本次图片文件打包到一起,只能先把本次文件打包成一个hib对象,然后再追加上次的hib对象
这是一个非常恶心的地方。
File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
这段代码和上传文件一点关系没有,你也可以不加,控制台会报一堆无关痛痒的错误,很难受
要么在本机的测试环境上加上hadoop的环境变量
关于代码里判断文件是不是jpg后缀什么的 我就懒得写了。。这个能搞这个都会。
相关文章推荐
- Visual Studio 2017中使用正则修改部分内容 如何使用ILAsm与ILDasm修改.Net exe(dll)文件 C#学习-图解教程(1):格式化数字字符串 小程序开发之图片转Base64(C#、.Net) jquery遍历table为每一个单元格取值及赋值 。net加密解密相关方法 .net关于坐标之间一些简单操作
- Hipi 文件的相关操作 Hib建立索引部分。
- Hipi相关操作,文件搜索部分
- html,图片上传预览,input file获取文件等相关操作
- Yii文件(图片)上传时相关的方法
- c++关于文件夹(文件)的相关操作_findfirst,_findnext和_findclose方法
- ajaxfileupload 能上传图片不能上传其他文件的解决方法
- C#操作数据库中存取图片文件的方法
- iOS ftp上传文件图片等资源方法
- 利用SpringMVC框架提供的方法,做文件上传和下载操作
- Android 上传文件,图片。以及服务器端接收相关
- 图片文件上传及其它操作
- 使用七牛上传图片代码,导入文件常遇问题解决方法
- CompressUtils相关代码,java中文件压缩或解压已经文件的基本操作等方法
- yii使用activeFileField控件实现上传文件与图片的方法
- yii使用activeFileField控件实现上传文件与图片的方法
- Android 上传文件,图片。以及服务器端接收相关。
- 上传文件的相关操作
- Android 上传文件,图片。以及服务器端接收相关。
- UEditor配置:图片上传和文件上传独立使用方法,兼容最新版 UEditor 1.4.3