Hadoop HDFS 的 Java API 操作方式

想要使用Java API 的方式操作 Hadoop，尤其是hdfs（hadoop file system），必然需要引入jar包（jar包提供了丰富的API）。

点中工程名，

alt+enter，进入工程属性页，

点击【Java Build Path】，点击【Libraries】，

我们要引入外部的Jar包，点击【Add External JARs …】。

导入的外部Jar包分为两部分（避免出现依赖，我们全部导入），

分别为hadoop根目录下的jar包，

和lib里的jar包。

导入完成之后，我们发现在Eclipse的【Package Explorer】当前项目，存在两部分的Library，如下图所示：

获取/查看 hdfs 上的文件

方式一：URL的方式解析hdfs中的文件

public class App{
public static void main(String[] args){
static final String path = "hdfs://hadoop0:9000/hello";
// hello 是 hdfs 上的文件而非路径
URL.setURLStreamHandlerFactory(new FsFsUrlStreamHandlerFactory());
// 不执行这一步操作的话
// url对象无法解析hdfs协议
// 会报 unknown protocol: hdfs 异常
URL url = new URL(path);
// URL 表示资源定位符，
// 自然是文件在hdfs服务器上的位置
InputStream in = url.openStream();
// URL 对象以文件流的形式将文件解析
IOUtils.copyBytes(in, System.out, 1014, true);
// IOUtils 取hadoop的相关实现
// 将in中的内容读入到输出流（这里是控制台输出）
}
}

显然这里的url，能力有限，因为它来自 jdk 中的 api，属于一种通用的API。

FileSystem：hadoop API