通过使用API来操作HDFS

整体的流程就是：

public static final String HDFS_PATH = "hdfs://masterIP:9000/";

Configuration config=new Configuration();

FileSystem fs=FileSystem.get(new URI(HDFS_PATH ),config); //FIleSystem类是操作文件的主要的类

1、创建一个文件夹，同时并将一个本地的文件输入到这个新创建的文件夹下

//在hdfs下创建/test目录

fs.mkdir(new Path("/test"));

//将本地的文件上传到/test文件夹下，并且命名为yy.txt

FSDataOutputStream out=fs.create(new Path("/test/yy.txt"));

//介绍create几个方法的重载

FSDataOutputStream create(Path path)

FSDataOutputStream create(Path path,boolean overwrite)

FSDataOutputStream create(Path path,boolean overwrite ,int buffersize)

//得到本地文件的输入流

FileInputStream in = new FileInputStream("C:/Users/Administrator/Desktop/yy.txt");

//使用IOUtils这个工具，直接将输入流传给输出流

/**

* @param in

* 输入流

* @param out

* 输出流

* @param buffersize

* 输出缓冲区

* @param close

* 是否关闭

*/

IOUtils.copyBytes(in, out, 1024, true);

2、将hdfs文件的数据，复制到本地指定的文件 中

FSDataInputStream in=fs.open(new Path("/test/hello"));

FileoutputStream out=new FIleOutputStream(new File("/usr/local/yy/hello.txt"));

IOUtils.copyBytes(in,out,1024,true);

3、删除指定的文件或者文件夹下所有的文件

boolean delete(Path f,boolean recursive) API

如果f是一个目录，且recursive=true 则删除该文件夹下所有的文件。

如果f就是一个文件 ，则无论recursive=true or false 则只删除该文件

boolean result=fs.delete(new Path("/test"),true);

4、获取指定文件的信息

FileStatus getFileStatus(Path path)

FileStatus stat=fs.getFileStatus("/test/hello");

System.out.println(stat.getPath().toUri().getPath());// 相对路径

System.out.println(stat.getPath());// 绝对路径

System.out.println(stat.getLen());

System.out.println(stat.isDir());

System.out.println(stat.getModificationTime());

System.out.println(stat.getReplication());

System.out.println(stat.getBlockSize());

System.out.println(stat.getOwner());

System.out.println(stat.getGroup());

System.out.println(stat.getPermission().toString());

5、获取文件夹下所有文件的信息（使用递归）

FileStatus[] listStatus(Path f)

public void showFileStatus(Path p){

FileStatus[] status=fs.listStatus(new Path("/test"));

for(int i=0;i<status.length;i++){

if(status[i].isDir()){

showFileStatus(status[i].getPath());

}else{

System.out.println(stat.getPath());// 绝对路径

System.out.println(status[i].getLen());

System.out.println(status[i].isDir());

System.out.println(status[i].getModificationTime());

System.out.println(status[i].getReplication());

System.out.println(status[i].getBlockSize());

System.out.println(status[i].getOwner());

System.out.println(status[i].getGroup());

System.out.println(status[i].getPermission().toString());

}

}

}

//这个是重载的方法，主要就是通过PathFilter过滤到一些不想要的文件或者路径

FileStatus[] listStatus(Path f,PathFilter pathFilter)

package hdfs;

import org.apache.hadoop.fs.Path;

public class MyPathFilter implements PathFilter {

private final String regex;

public MyPathFilter(String regex) {

this.regex = regex;

}

@Override

public boolean accept(Path path) {

return path.toString().matches(regex);

}

}

FileStatus[] fstatus=fs.listStatus(new Path("/test"),new MyPathFilter("f*")); //主要f开头的文件

FileStatus[] globalStatus(Path pattern) ;//输入的路径可以是正则表达式，将多个路径的文件显示出来

FileStatus[] fss=fs.globalStatus("/test*");

Path[] paths=FileUtils.stat2Path(fss); //这是一个工具类，将FileStatus转化为路径

for(Path p:paths){

System.out.println(p);

}/span>

6、得到所有的DataNode节点的具体信息

private static void getHDFSNodes() throws IOException, URISyntaxException {

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(new URI(HADOOP_PATH), conf);

DistributedFileSystem dfs = (DistributedFileSystem) fs;

DatanodeInfo[] datanodestats = dfs.getDataNodeStats();

for (int i = 0; i < datanodestats.length; i++) {

System.out.println("datanode_" + i + "--"

+ datanodestats[i].getHost() + "--"

+ datanodestats[i].getHostName() + "--"

+ datanodestats[i].getDatanodeReport() + "--"

+ datanodestats[i].getAdminState());

}

}

7、得到文件的块在哪些主机上

private static void getFileLocal() throws IOException, URISyntaxException {

FileSystem fs = FileSystem.get(new URI(HADOOP_PATH),

new Configuration());

Path fpath = new Path("/in/hello");

FileStatus filestatus = fs.getFileStatus(fpath);

System.out.println(filestatus.getReplication() + "--"

+ filestatus.getOwner() + "--" + filestatus.getGroup() + "--"

+ filestatus.getBlockSize() + "--" + filestatus.getLen() + "--"

+ filestatus.getPath());

BlockLocation[] blklocation = fs.getFileBlockLocations(filestatus, 0,

filestatus.getLen());

int blocklen = blklocation.length;

for (int i = 0; i < blocklen; i++) {

String[] hosts = blklocation[i].getHosts();

System.out.println("block_" + i + "--" + "-location:" + hosts[0]);

}

}