Hadoop通过url地址访问HDFS
2017-12-29 16:53
393 查看
新建Java工程
添加Hadoop所有的jar包
添加日志文件log4j.properties(一定要加入到src文件夹下面)
package com.cr.java; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.junit.Test; import javax.print.DocFlavor; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection; /** * 完成HDFS操作 */ public class HDFS { /** * 第一步:读取HDFS文件 */ @Test public void readFile() throws Exception { System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.5"); //注册HDFS流处理器 URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); //拿到HDFS文件系统的url地址 //HDFS NameNode 8020 fs.defaultFS 接收Client连接的RPC端口,用于获取文件系统metadata信息。 URL url = new URL("hdfs://s150:8020/usr/xiaoqiu/hadoop/index.html"); //拿到链接 URLConnection con = url.openConnection(); //读取文件,获取输入流 InputStream is = con.getInputStream(); //创建缓冲区 byte[] buf = new byte[is.available()]; //开始向缓冲区读取 is.read(buf); //读取完关闭输入流 is.close(); //将缓冲区的内容转为字符串打印出来 String str = new String(buf); System.out.println(str); } }
添加Hadoop所有的jar包
添加日志文件log4j.properties(一定要加入到src文件夹下面)
相关文章推荐
- Hadoop通过C的API访问HDFS
- hadoop之HDFS:通过Java API访问HDFS
- hadoop 集群 远程访问 mysql(通过sqoop从远程数据库服务器向hdfs迁移数据) 屡次失败的原因
- Python通过thrift访问hadoop:报错java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- Hadoop通过c语言API访问hdfs
- 很好-Hadoop通过C的API访问HDFS
- Hadoop通过路径和和链接访问HDFS
- Hadoop之Java通过URL操作HDFS-yellowcong
- Java程序中不通过hadoop jar的方式访问hdfs
- Hadoop学习--URL方法访问HDFS数据--day04
- Hadoop通过C的API访问HDFS
- WEB-INF下的JSP是不能通过URL直接访问的
- URL访问地址和Tomcat项目部署中不得不说的小秘密
- url地址访问不到,报404 - /XXX/XXX.do%20
- 通过公网IP访问云上的Hadoop集群
- 内网用户通过公网IP地址访问内部服务器(华为DNS-MAP应用案例)
- 通过地址重写访问动态Web
- hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件
- 【hadoop摸索系列】记录使用libhdfs访问hdfs的关键问题
- WEB-INF目录防止通过URL直接访问