文件归档与解档问题

在大数据开发中，或这一些项目中，经常遇到很多小文件的处理，为了减小namenode内存的占用，提高效率，经常将小文件压缩并归档处理，而在流的读取与写的操作的时候，归档后还需要解档，下面写一个工具类，实现文件的归档与解档：

1.字节数组与整数转化的工具类

package java.util;

/**
* 数据工具类
*/
public class DataUtil {

/**
* 将整数转换成字节数组
*/
public static byte[] int2ByteArr(int i){
byte[] bytes = new byte[4] ;
bytes[0] = (byte)(i >> 24) ;
bytes[1] = (byte)(i >> 16) ;
bytes[2] = (byte)(i >> 8) ;
bytes[3] = (byte)(i >> 0) ;
return bytes ;
}

/**
* 将字节数组转换成整数
*/
public static int byteArr2Int(byte[] arr){
return (arr[0] & 0xff) << 24
| (arr[1] & 0xff) << 16
| (arr[2] & 0xff) << 8
| (arr[3] & 0xff) << 0 ;
}
}


2.实现文件归档与解档

package java.io;

import java.util.DataUtil;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;

/**
* 归档器
*/
public class Archiver {

/**
* 将file文件追加到xar中
*/
public void appendFile(String xar , String file){
try {
//归档文件输出流
FileOutputStream fos = new FileOutputStream(xar,true) ;

//1.文件名程度
File f = new File(file);
String fileName = f.getName();
byte[] fileNameBytes = fileName.getBytes();
byte[] fileNameLenBytes = DataUtil.int2ByteArr(fileNameBytes.length);
fos.write(fileNameLenBytes);

//2.文件名内容
fos.write(fileNameBytes);

//3.文件长度
int len = (int)f.length();
byte[] lenBytes = DataUtil.int2ByteArr(len) ;
fos.write(lenBytes);

//4.文件内容
FileInputStream fis = new FileInputStream(f) ;
byte[] buf = new byte[1024] ;
int len0 = 0 ;
while((len0 = fis.read(buf)) != -1){
fos.write(buf,0,len0);
}
fis.close();
fos.close();
} catch (Exception e) {
e.printStackTrace();
}
}

/**
* 解档
*/
public void unarchive(String xar , String dir){
try {
FileInputStream fis = new FileInputStream(xar) ;
while(true){
byte[] byte4 = new byte[4] ;
int len = fis.read(byte4) ;
//读到文件尾
if(len == -1){
break ;
}
//
byte[] fileNameBytes = new byte[DataUtil.byteArr2Int(byte4)];
//读取文件名
fis.read(fileNameBytes);
String fileName = new String(fileNameBytes) ;
File newFile = new File(dir,fileName) ;
FileOutputStream fos = new FileOutputStream(newFile) ;

//读取文件长度
fis.read(byte4);
byte[] fileContBytes = new byte[DataUtil.byteArr2Int(byte4)] ;

//读取文件内容
fis.read(fileContBytes) ;
fos.write(fileContBytes);
fos.close();
}
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}

3.测试

package java.test;

import java.io.Archiver;
import org.junit.Test;

/**
* 测试归档，解档
*/
public class TestArchiver {

/**
* 测试归档
*/
@Test
public void TestArchive(){
Archiver a = new Archiver();
a.appendFile("d:/arch/my.xar","d:/arch/1.txt");
a.appendFile("d:/arch/my.xar","d:/arch/2.gif");
a.appendFile("d:/arch/my.xar","d:/arch/3.mp3");
}
/**
* 测试归档
*/
@Test
public void TestUnarchive(){
Archiver a = new Archiver();
a.unarchive("d:/arch/my.xar","d:/arch/unarch");
}
}