文件归档与解档问题

在大数据开发中，或这一些项目中，经常遇到很多小文件的处理，为了减小namenode内存的占用，提高效率，经常将小文件压缩并归档处理，而在流的读取与写的操作的时候，归档后还需要解档，下面写一个工具类，实现文件的归档与解档：

1.字节数组与整数转化的工具类

[java] view plain copy

 

package java.util;  

  

/** 

 * 数据工具类 

 */  

public class DataUtil {  

  

    /** 

     * 将整数转换成字节数组 

     */  

    public static byte[] int2ByteArr(int i){  

        byte[] bytes = new byte[4] ;  

        bytes[0] = (byte)(i >> 24) ;  

        bytes[1] = (byte)(i >> 16) ;  

        bytes[2] = (byte)(i >> 8) ;  

        bytes[3] = (byte)(i >> 0) ;  

        return bytes ;  

    }  

  

    /** 

     * 将字节数组转换成整数 

     */  

    public static int byteArr2Int(byte[] arr){  

        return  (arr[0] & 0xff) << 24  

                | (arr[1] & 0xff) << 16  

                | (arr[2] & 0xff) << 8  

                | (arr[3] & 0xff) << 0 ;  

    }  

}  

2.实现文件归档与解档

[java] view plain copy

 

package java.io;  

  

import java.util.DataUtil;  

  

import java.io.File;  

import java.io.FileInputStream;  

import java.io.FileOutputStream;  

  

/** 

 * 归档器 

 */  

public class Archiver {  

  

    /** 

     * 将file文件追加到xar中 

     */  

    public void appendFile(String xar , String file){  

        try {  

            //归档文件输出流  

            FileOutputStream fos = new FileOutputStream(xar,true) ;  

  

            //1.文件名程度  

            File f = new File(file);  

            String fileName = f.getName();  

            byte[] fileNameBytes = fileName.getBytes();  

            byte[] fileNameLenBytes = DataUtil.int2ByteArr(fileNameBytes.length);  

            fos.write(fileNameLenBytes);  

  

            //2.文件名内容  

            fos.write(fileNameBytes);  

  

            //3.文件长度  

            int len = (int)f.length();  

            byte[] lenBytes = DataUtil.int2ByteArr(len) ;  

            fos.write(lenBytes);  

  

            //4.文件内容  

            FileInputStream fis = new FileInputStream(f) ;  

            byte[] buf = new byte[1024] ;  

            int len0 = 0 ;  

            while((len0 = fis.read(buf)) != -1){  

                fos.write(buf,0,len0);  

            }  

            fis.close();  

            fos.close();  

        } catch (Exception e) {  

            e.printStackTrace();  

        }  

    }  

  

    /** 

     * 解档 

     */  

    public void unarchive(String xar , String dir){  

        try {  

            FileInputStream fis = new FileInputStream(xar) ;  

            while(true){  

                byte[] byte4 = new byte[4] ;  

                int len = fis.read(byte4) ;  

                //读到文件尾  

                if(len == -1){  

                    break ;  

                }  

                //  

                byte[] fileNameBytes = new byte[DataUtil.byteArr2Int(byte4)];  

                //读取文件名  

                fis.read(fileNameBytes);  

                String fileName = new String(fileNameBytes) ;  

                File newFile = new File(dir,fileName) ;  

                FileOutputStream fos = new FileOutputStream(newFile) ;  

  

                //读取文件长度  

                fis.read(byte4);  

                byte[] fileContBytes = new byte[DataUtil.byteArr2Int(byte4)] ;  

  

                //读取文件内容  

                fis.read(fileContBytes) ;  

                fos.write(fileContBytes);  

                fos.close();  

            }  

            fis.close();  

        } catch (Exception e) {  

            e.printStackTrace();  

        }  

    }  

}  

3.测试 

[java] view plain copy

 

package java.test;  

  

import java.io.Archiver;  

import org.junit.Test;  

  

/** 

 * 测试归档，解档 

 */  

public class TestArchiver {  

  

    /** 

     * 测试归档 

     */  

    @Test  

    public void TestArchive(){  

        Archiver a = new Archiver();  

        a.appendFile("d:/arch/my.xar","d:/arch/1.txt");  

        a.appendFile("d:/arch/my.xar","d:/arch/2.gif");  

        a.appendFile("d:/arch/my.xar","d:/arch/3.mp3");  

    }  

    /** 

     * 测试归档 

     */  

    @Test  

    public void TestUnarchive(){  

        Archiver a = new Archiver();  

        a.unarchive("d:/arch/my.xar","d:/arch/unarch");  

    }  

}