Hadoop之HDFS客户端------java实现

1.HDFS—-java代码加载配置

public void setup() throws Exception{
config = new Configuration();
fs = FileSystem.get(config);
}

2.HDFS——java实现在HDFS上创建文件夹

public void mkdir() throws Exception{
Path dir = new Path("/usr/ymf1");
fs.mkdirs(dir);
}

3.HDFS——Java实现上传文件到HDFS

public void upload() throws Exception{
Path file = new Path("/usr/ymf/yyy/hdfs.zip");
FSDataOutputStream out = fs.create(file, true, 102400);//文件数据输出流——创建、设置缓冲带的大小
String path = "E:\\Programming\\eclipse\\project\\hdfs.zip";
IOUtils.copyBytes(new FileInputStream(new File(path)), out, config);//使用文件输入流，对字节进行复制
}

4.HDFS——java实现列出HDFS路径下的文件

public void list() throws Exception{
Path dir = new Path("/usr/zs");
FileStatus[] fss = fs.listStatus(dir);
for(int i=0; i<fss.length; i++){
FileStatus file = fss[i];
System.out.println(file.getPath());
System.out.println(file.getLen());
System.out.println(file.getModificationTime());
}

5.HDFS——java实现合并HDFS上的小文件

public void seq() throws Exception{
Path file = new Path("/usr/ymf/test.seq");
//连续的写入文件，然后创建写者
SequenceFile.Writer seq = SequenceFile.createWriter(fs, config, file, Text.class, Text.class, CompressionType.NONE);
File dir = new File("E:/data/"); //文件所在本地地址
for(File f : dir.listFiles()){
seq.append(new Text(f.getName()), new Text(FileUtils.readFileToString(f, "UTF-8")));//读取文件转换成字符串格式
//追加                                    文件系统
}

6.HDFS——java实现关闭连接

public void after() throws Exception{
fs.close();
}

7.HDFS——Java定义HDFS的配置

FileSystem fs = null;
Configuration config = null;

8.将自己搭建的HDFS路径下的share下面hadoop下lib的jar包全部导入，然后导入自己搭建的HDFS的core.xml以及hdfs.xml文件，最后使用JUnit的jar包进行测试