HDFS中JAVA API的使用(hadoop的文件上传和下载)
2014-10-13 22:46
483 查看
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。
对分HDFS中的文件操作主要涉及一下几个类:
Configuration类:该类的对象封转了客户端或者服务器的配置。
FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。
FSDataInputStream和FSDataOutputStream:这两个类是HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。
具体如何对文件操作清下下面例子:
package hadoop;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
* 测试文件:
* @author z714303584
*
* HDFS文件上传下载实例
*/
public class HbaseTest {
//hadoop fs的配置文件
static Configuration conf = new Configuration(true);
static{
//指定hadoop fs的地址
conf.set("fs.default.name", "hdfs://master:9000");
}
/**
* 将本地文件(filePath)上传到HDFS服务器的指定路径(dst)
* @param filePath
* @param dst
* @throws Exception
*/
public static void uploadFileToHDFS(String filePath,String dst) throws Exception {
//创建一个文件系统
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(filePath);
Path dstPath = new Path(dst);
Long start = System.currentTimeMillis();
fs.copyFromLocalFile(false, srcPath, dstPath);
System.out.println("Time:"+ (System.currentTimeMillis() - start));
System.out.println("________________________Upload to "+conf.get("fs.default.name")+"________________________");
fs.close();
getDirectoryFromHdfs(dst);
}
/**
* 下载文件
* @param src
* @throws Exception
*/
public static void downLoadFileFromHDFS(String src) throws Exception {
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(src);
InputStream in = fs.open(srcPath);
try {
//将文件COPY到标准输出(即控制台输出)
IOUtils.copyBytes(in, System.out, 4096,false);
}finally{
IOUtils.closeStream(in);
fs.close();
}
}
/**
* 遍历指定目录(direPath)下的所有文件
* @param direPath
* @throws Exception
*/
public static void getDirectoryFromHdfs(String direPath) throws Exception{
FileSystem fs = FileSystem.get(URI.create(direPath),conf);
FileStatus[] filelist = fs.listStatus(new Path(direPath));
for (int i = 0; i < filelist.length; i++) {
System.out.println("_________________***********************____________________");
FileStatus fileStatus = filelist[i];
System.out.println("Name:"+fileStatus.getPath().getName());
System.out.println("size:"+fileStatus.getLen());
System.out.println("_________________***********************____________________");
}
fs.close();
}
/**
* 测试方法
* @param args
*/
public static void main(String[] args) {
try {
// getDirectoryFromHdfs("/hbase/");
// uploadFileToHDFS("F:/数据库优化/2000W/1800w-2000w.csv", "/zhuss/hotel/data/");
downLoadFileFromHDFS("/zhuss/hotel/data/最后5000.csv");
} catch (Exception e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
}
}
}
对分HDFS中的文件操作主要涉及一下几个类:
Configuration类:该类的对象封转了客户端或者服务器的配置。
FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。
FSDataInputStream和FSDataOutputStream:这两个类是HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。
具体如何对文件操作清下下面例子:
package hadoop;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
* 测试文件:
* @author z714303584
*
* HDFS文件上传下载实例
*/
public class HbaseTest {
//hadoop fs的配置文件
static Configuration conf = new Configuration(true);
static{
//指定hadoop fs的地址
conf.set("fs.default.name", "hdfs://master:9000");
}
/**
* 将本地文件(filePath)上传到HDFS服务器的指定路径(dst)
* @param filePath
* @param dst
* @throws Exception
*/
public static void uploadFileToHDFS(String filePath,String dst) throws Exception {
//创建一个文件系统
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(filePath);
Path dstPath = new Path(dst);
Long start = System.currentTimeMillis();
fs.copyFromLocalFile(false, srcPath, dstPath);
System.out.println("Time:"+ (System.currentTimeMillis() - start));
System.out.println("________________________Upload to "+conf.get("fs.default.name")+"________________________");
fs.close();
getDirectoryFromHdfs(dst);
}
/**
* 下载文件
* @param src
* @throws Exception
*/
public static void downLoadFileFromHDFS(String src) throws Exception {
FileSystem fs = FileSystem.get(conf);
Path srcPath = new Path(src);
InputStream in = fs.open(srcPath);
try {
//将文件COPY到标准输出(即控制台输出)
IOUtils.copyBytes(in, System.out, 4096,false);
}finally{
IOUtils.closeStream(in);
fs.close();
}
}
/**
* 遍历指定目录(direPath)下的所有文件
* @param direPath
* @throws Exception
*/
public static void getDirectoryFromHdfs(String direPath) throws Exception{
FileSystem fs = FileSystem.get(URI.create(direPath),conf);
FileStatus[] filelist = fs.listStatus(new Path(direPath));
for (int i = 0; i < filelist.length; i++) {
System.out.println("_________________***********************____________________");
FileStatus fileStatus = filelist[i];
System.out.println("Name:"+fileStatus.getPath().getName());
System.out.println("size:"+fileStatus.getLen());
System.out.println("_________________***********************____________________");
}
fs.close();
}
/**
* 测试方法
* @param args
*/
public static void main(String[] args) {
try {
// getDirectoryFromHdfs("/hbase/");
// uploadFileToHDFS("F:/数据库优化/2000W/1800w-2000w.csv", "/zhuss/hotel/data/");
downLoadFileFromHDFS("/zhuss/hotel/data/最后5000.csv");
} catch (Exception e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
}
}
}
相关文章推荐
- Hadoop学习笔记一(通过Java API 操作HDFS,文件上传、下载)
- hadoop Hdfs文件上传下载
- java 实现hadoop的hdfs文件的上传下载删除创建
- HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo
- hadoop学习笔记之hdfs的文件上传下载
- 使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)
- Hadoop Shell命令(基于linux操作系统上传下载文件到hdfs文件系统基本命令学习)
- hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
- HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo
- hadoop hdfs 上传下载文件
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- 在Win7 环境使用Java API 上传文件到 Hadoop2.x HDFS 问题统计
- Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
- HDFS Java API使用之读取上传文件
- Hadoop之HDFS原理及文件上传下载源码分析(上)
- 调用JAVA API 对 HDFS 进行文件的读取、写入、上传、下载、删除等操作
- java操作hadoop hdfs,实现文件上传下载demo
- 使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)
- 调用JAVA API对HDFS文件进行文件的读写、上传下载、删除等操作代码详解