上传本地文件到HDFS

本文程序参考《实战Hadoop》【刘鹏 主编】，如有侵权立即删除，仅作记录以备后查。

开发环境：

选项	参数
虚拟操作系统	Centos 6.8
集成开发环境	Eclipse Mars
Hadoop version	1.0.3伪分布式
JDK	1.7.0_80
虚拟机	Virtualbox

程序目录结构：



其中src文件夹下的Hdoop包存放java源码，lib目录为相关依赖库，conf文件夹存放hadoop的核心配置文件，hadoop库是根据lib文件夹下的jar包创建的user library。

源代码：

package hadoop;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

//上传本地文件到HDFS
public class CopyFile {

public static void main(String[] args) throws IOException {
//获取配置文件信息
Configuration conf = new Configuration();
conf.addResource(new Path("conf/core-site.xml"));
//获取文件系统
//      String fileUri = "hdfs://192.168.1.122:9000/";
//      FileSystem hdfs = FileSystem.get(URI.create(fileUri),conf);
FileSystem hdfs = FileSystem.get(conf);
//文件名称
Path src = new Path("/root/install.log");
Path dst = new Path("/");
hdfs.copyFromLocalFile(src, dst);
System.out.println("Upload to " + conf.get("fs.default.name"));
FileStatus files[] = hdfs.listStatus(dst);
for(FileStatus file:files){
System.out.println(file.getPath());
}
}

}

运行结果



注意：

hadoop核心配置文件需要放在当前工程目录的conf文件夹下，否则可能找不到fs.default.name的值，也可采用源代码中屏蔽掉的代码获取FileSystem类的对象。