利用Java接口对HDFS进行读写操作

1. 从HDFS中读取文件内容

使用URL

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

/**
* Created by zhangyan on 2017/1/4.
*/
public class URLCat {

/**
* 要从Hadoop文件系统中读取文件，最简单的方法是使用java.net.URL对象打开数据流，进而从中读取数据
* 要让Java程序能够识别Hadoop的hdfs URL，
* 需要采用的方法是 FsUrlStreamHandlerFactory实例作为URL中setURLStreamHandlerFactory方法的参数。
* 由于Java虚拟机只能调用一次上述方法，因此通常在静态方法 中调用上述方法。
*
* 没有以下的static块中的内容，会报出异常 java.net.MalformedURLException: unknown protocol: hdfs
*/

static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) throws MalformedURLException,IOException{ InputStream in=null; try{ in = new URL(args[0]).openStream(); IOUtils.copyBytes(in,
System.out, 4096, false); } finally{ IOUtils.closeStream(in); } }}

有时无法在应用中设置URLStreamHandlarFactory实例，例如不受控制的第三方组件如果已经声明了一个URLStreamHandlerFactory实例，你将无法再使用上述方法从Hadoop中读取数据，这种情况下，需要使用FileSystem
API来打开一个文件的输入流。 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.InputStream;

/**
* Created by zhangyan on 2017/1/5.
*/
/**
* Hadoop的Filesystem类就是与Hadoop的某一文件系统进行交互的 APl，
* Filesystem类是一个抽象类，是需要被继承的，所以只能通过get方法得到具体的类
*
* FileSystem是一个通用的文件系统API，所以第一步是检索需要使用的文 件系统实例，这里是HDFS
*/
public class FileSystemCat {
public static void main(String[] args) throws Exception {
String uri = args[0];
Configuration conf = new Configuration();

//以下两句定义FileSystem对象的方法都可以读取HDFS内文件的内容
//FileSystem fs = FileSystem.get(URI.create(uri), conf);
FileSystem fs = FileSystem.get(conf);

//创建目录
fs.mkdirs(new Path("hdfs://myhadoop/apiPath"));

InputStream in = null;
try {
//调用open()函数来获取文件的输入流
in = fs.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
}
}

2. 向HDFS中写入数据

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.*;
import java.net.URI;

/**
* Created by zhangyan on 2017/1/4.
*/
public class FileCopyToHDFS {
public static void main(String[] args) throws IOException{
String localSrc = args[0];
String dst = args[1];
InputStream in=new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf=new Configuration();

//创建FileSystem对象。可以使用URI，也可以不使用URI
//FileSystem fs=FileSystem.get(URI.create(dst),conf);
FileSystem fs=FileSystem.get(conf);

// 创建写入数据的输出流
// 给准备创建的文件指定一个Path对象
// create()方法能够为需要写入且当前不存在的文件创建父目录
OutputStream out=fs.create(new Path(dst));
IOUtils.copyBytes(in, out, 4096, true);

}
}

3. Delete HDFS中的Path

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
* Created by zhangyan on 2017/1/4.
*/
public class MyUtils {
public static void deleteDir(Configuration conf, String dirPath) throws IOException{
FileSystem fs=FileSystem.get(conf);
Path target=new Path(dirPath);
//判断Path对象在FileSystem中是否存在
if(fs.exists(target)){
//删除路径
// 如果是directory的话，第二个参数为true则删除文件夹及其包含的文件，为false则抛异常

4000
// 如果是文件的话，第二个参数为true或false都可以。。
boolean delResult = fs.delete(target,true);
if(delResult){
System.out.println(target + " has been deleted sucessfullly.");
} else {
System.out.println(target + " deletion failed.");
}
}
}
}

4. FileStatus，包含了文件元信息
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
* Created by zhangyan on 2017/1/5.
*/
public class TestFileStatus {
public static void main(String[] args) throws IOException{
Configuration conf=new Configuration();
FileSystem fs = FileSystem.get(conf);
FileStatus fstat= fs.getFileStatus(new Path(args[0]));
System.out.println(fstat.getAccessTime());
System.out.println(fstat.getBlockSize());
System.out.println(fstat.getLen());
System.out.println(fstat.getReplication());
System.out.println(fstat.getOwner());

}
}