使用hadoop存储图片服务器
2009-09-06 00:56
309 查看
版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明
http://luyongfugx.blogbus.com/logs/41105881.html
公司的一个服务需要存储大量的图片服务器,考虑使用hadoop的hdfs来存放图片文件.以下是整个架构思路:
使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是
使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份
数,这样在hadoop系统中某个datanode死掉并不会造成图片不可能,系统会从其他datanode上拿到数据。以下我们编写的一个hadoop的java的访问封装类:
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;
public class HadoopFileUtil {
static Logger logger = Logger.getLogger(HadoopFileUtil.class);
/**
* @param args
*/
public static void main(String[] args) {
String src=args[0];
String dst=args[1];
String tag=args[2];
HadoopFileUtil util=new HadoopFileUtil();
if(tag!=null&&tag.equals("1")){
System.out.println(util.createFile(src, dst));
}
else{
util.deleteFile(dst);
}
}
/**
* 拷贝一个本地文件到hadoop里面
* @param localFile 本地文件和路径名
* @param hadoopFile hadoop文件和路径名
* @return
*/
public boolean createFile(String localFile,String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem src=FileSystem.getLocal(conf);
FileSystem dst= FileSystem.get(conf);
Path srcpath = new Path(localFile);
Path dstpath = new Path(hadoopFile);
FileUtil.copy(src, srcpath, dst, dstpath,false,conf);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**将一个流作为输入,生成一个hadoop里面的文件
* @param inStream 输入流
* @param hadoopFile hadoop路径及文件名字
* @return
*/
public boolean createFileByInputStream(InputStream inStream,String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
Path dstpath = new Path(hadoopFile);
FSDataOutputStream oStream=dst.create(dstpath);
byte[] buffer = new byte[400];
int length = 0;
while((length = inStream.read(buffer))>0){
oStream.write(buffer,0,length);
}
oStream.flush();
oStream.close();
inStream.close();
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* 删除hadoop里面的一个文件
* @param hadoopFile
* @return
*/
public boolean deleteFile(String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
FileUtil.fullyDelete(dst,new Path(hadoopFile));
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* 从hadoop中读取一个文件流
* @param hadoopFile
* @return
*/
public FSDataInputStream getInputStream(String hadoopFile){
FSDataInputStream iStream=null;
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
Path p=new Path(hadoopFile);
iStream=dst.open(p);
} catch (Exception e) {
e.printStackTrace();
logger.error("getInputStream error:", e);
}
return iStream;
}
}
通过调用这个类可以将图片存入hadoop 系统.
当需要访问某个图片时,先访问jsp服务器(如:tomcat)的一个servlet,这个servlet从hadoop里面读出图片,并
返回给浏览器.以下是我们的servlet:
import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.io.IOUtils;
import org.apache.log4j.Logger;
import com.tixa.dfs.hadoop.util.HadoopFileUtil;
public class HadoopServlet extends javax.servlet.http.HttpServlet implements javax.servlet.Servlet {
static Logger logger = Logger.getLogger(HadoopServlet.class);
public void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException{
PrintWriter out=res.getWriter();
res.setContentType("image/jpeg");
java.util.Date date = new java.util.Date();
res.setDateHeader("Expires",date.getTime()+1000*60*60*24);
String path=req.getPathInfo();
path=path.substring(1,path.length());
HadoopFileUtil hUtil=new HadoopFileUtil();
FSDataInputStream inputStream=hUtil.getInputStream(path);
OutputStream os = res.getOutputStream();
byte[] buffer = new byte[400];
int length = 0;
while((length = inputStream.read(buffer))>0){
os.write(buffer,0,length);
}
os.flush();
os.close();
inputStream.close();
}
}
另外,为了避免对hadoop的频繁读取,可以再jsp服务器前放一个squid进行对图片的缓存。
这就是我们图片服务器的架构.
另外其实这里也可以用一些其他的分布式文件系统,如kfs等,很多分布式文件系统可能会比hadoop更为
稳定一些。
http://luyongfugx.blogbus.com/logs/41105881.html
公司的一个服务需要存储大量的图片服务器,考虑使用hadoop的hdfs来存放图片文件.以下是整个架构思路:
使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是
使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份
数,这样在hadoop系统中某个datanode死掉并不会造成图片不可能,系统会从其他datanode上拿到数据。以下我们编写的一个hadoop的java的访问封装类:
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;
public class HadoopFileUtil {
static Logger logger = Logger.getLogger(HadoopFileUtil.class);
/**
* @param args
*/
public static void main(String[] args) {
String src=args[0];
String dst=args[1];
String tag=args[2];
HadoopFileUtil util=new HadoopFileUtil();
if(tag!=null&&tag.equals("1")){
System.out.println(util.createFile(src, dst));
}
else{
util.deleteFile(dst);
}
}
/**
* 拷贝一个本地文件到hadoop里面
* @param localFile 本地文件和路径名
* @param hadoopFile hadoop文件和路径名
* @return
*/
public boolean createFile(String localFile,String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem src=FileSystem.getLocal(conf);
FileSystem dst= FileSystem.get(conf);
Path srcpath = new Path(localFile);
Path dstpath = new Path(hadoopFile);
FileUtil.copy(src, srcpath, dst, dstpath,false,conf);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**将一个流作为输入,生成一个hadoop里面的文件
* @param inStream 输入流
* @param hadoopFile hadoop路径及文件名字
* @return
*/
public boolean createFileByInputStream(InputStream inStream,String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
Path dstpath = new Path(hadoopFile);
FSDataOutputStream oStream=dst.create(dstpath);
byte[] buffer = new byte[400];
int length = 0;
while((length = inStream.read(buffer))>0){
oStream.write(buffer,0,length);
}
oStream.flush();
oStream.close();
inStream.close();
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* 删除hadoop里面的一个文件
* @param hadoopFile
* @return
*/
public boolean deleteFile(String hadoopFile){
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
FileUtil.fullyDelete(dst,new Path(hadoopFile));
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* 从hadoop中读取一个文件流
* @param hadoopFile
* @return
*/
public FSDataInputStream getInputStream(String hadoopFile){
FSDataInputStream iStream=null;
try {
Configuration conf=new Configuration();
FileSystem dst= FileSystem.get(conf);
Path p=new Path(hadoopFile);
iStream=dst.open(p);
} catch (Exception e) {
e.printStackTrace();
logger.error("getInputStream error:", e);
}
return iStream;
}
}
通过调用这个类可以将图片存入hadoop 系统.
当需要访问某个图片时,先访问jsp服务器(如:tomcat)的一个servlet,这个servlet从hadoop里面读出图片,并
返回给浏览器.以下是我们的servlet:
import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.io.IOUtils;
import org.apache.log4j.Logger;
import com.tixa.dfs.hadoop.util.HadoopFileUtil;
public class HadoopServlet extends javax.servlet.http.HttpServlet implements javax.servlet.Servlet {
static Logger logger = Logger.getLogger(HadoopServlet.class);
public void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException{
PrintWriter out=res.getWriter();
res.setContentType("image/jpeg");
java.util.Date date = new java.util.Date();
res.setDateHeader("Expires",date.getTime()+1000*60*60*24);
String path=req.getPathInfo();
path=path.substring(1,path.length());
HadoopFileUtil hUtil=new HadoopFileUtil();
FSDataInputStream inputStream=hUtil.getInputStream(path);
OutputStream os = res.getOutputStream();
byte[] buffer = new byte[400];
int length = 0;
while((length = inputStream.read(buffer))>0){
os.write(buffer,0,length);
}
os.flush();
os.close();
inputStream.close();
}
}
另外,为了避免对hadoop的频繁读取,可以再jsp服务器前放一个squid进行对图片的缓存。
这就是我们图片服务器的架构.
另外其实这里也可以用一些其他的分布式文件系统,如kfs等,很多分布式文件系统可能会比hadoop更为
稳定一些。
相关文章推荐
- 使用hadoop存储图片服务器 使用hadoop存储图片服务器
- 使用hadoop存储图片服务器
- 使用hadoop存储图片服务器
- 架构设计:系统存储(19)——图片服务器:需求和技术选型(1)
- 如何使用AF上传图片到服务器
- 架构设计:系统存储(20)——图片服务器:需求和技术选型(2)
- 使用jersey框架上传图片到图片服务器
- 使用highcharts 实现本地服务器导出图片
- 使用jdbc存储图片和大文本
- Python中使用Flask、MongoDB搭建简易图片服务器
- fastdfs 图片服务器 使用java端作为客户端上传图片 / 【FastDFS专题】fastdfs使用实战(概念篇)
- iSCSI存储连接Win2003,服务器使用动态磁盘的问题!
- 使用Tomcat虚拟路径 将文件存储在服务器磁盘
- 微信小程序-从相册获取图片,视频 使用相机拍照,录像上传+服务器(nodejs版)接收
- SQL使用链接服务器执行远程数据库上的存储过程
- 使用FastDFS搭建图片服务器单实例篇
- 使用tomcat做图片服务器
- 使用Jersey实现应用服务器和图片服务器分离
- C#中使用FileUpload上传图片到SQL数据库中以image类型存储并使用Image控件显示注意事项
- centos64位中 fastDFS的安装以及nginx反向代理实现搭建图片服务器(三)之图片服务器的使用