Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
2014-11-01 11:42
761 查看
![](http://img.blog.csdn.net/20141101115531203)
《Haoop权威指南》实验3.2
1.设置Hadoop的类目录,hadoop-env.sh
[hadoop@Master conf]$ cd /usr/hadoop/conf
[hadoop@Master conf]$ vim hadoop-env.sh
增加 export HADOOP_CLASSPATH=/usr/hadoop/myclass
![](http://img.blog.csdn.net/20141028215241315)
2.设置搜索目录:使到运行javac,jps等程序时,省去打入一长串路径
[hadoop@Master hadoop]$ cd /home/hadoop/
[hadoop@Master ~]$ ls -a |grep .bash_profile
.bash_profile
[hadoop@Master ~]$ vim .bash_profile
![](http://img.blog.csdn.net/20141028215817390)
3.编写java
[hadoop@Master ~]$ cd /usr/hadoop/myclass
[hadoop@Master myclass]$ vim FileSystemCat.java
4.编译java
[hadoop@Master myclass]$ javac -classpath /usr/hadoop/hadoop-core-1.2.1.jar FileSystemCat.java
5.用java把hdfs系统里的文件内容读取出来,显示到屏幕
[hadoop@Master myclass]$ hadoop FileSystemCat hdfs://192.168.150.2:9000/user/hadoop/in/test1.txt
hello world
《Haoop权威指南》实验3.2
1.设置Hadoop的类目录,hadoop-env.sh
[hadoop@Master conf]$ cd /usr/hadoop/conf
[hadoop@Master conf]$ vim hadoop-env.sh
增加 export HADOOP_CLASSPATH=/usr/hadoop/myclass
2.设置搜索目录:使到运行javac,jps等程序时,省去打入一长串路径
[hadoop@Master hadoop]$ cd /home/hadoop/
[hadoop@Master ~]$ ls -a |grep .bash_profile
.bash_profile
[hadoop@Master ~]$ vim .bash_profile
3.编写java
[hadoop@Master ~]$ cd /usr/hadoop/myclass
[hadoop@Master myclass]$ vim FileSystemCat.java
import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class FileSystemCat { public static void main(String[] args) throws Exception { String uri = args[0]; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(uri), conf); InputStream in = null; try { in = fs.open(new Path(uri)); IOUtils.copyBytes(in, System.out,4096,false); } finally { IOUtils.closeStream(in); } } }
4.编译java
[hadoop@Master myclass]$ javac -classpath /usr/hadoop/hadoop-core-1.2.1.jar FileSystemCat.java
5.用java把hdfs系统里的文件内容读取出来,显示到屏幕
[hadoop@Master myclass]$ hadoop FileSystemCat hdfs://192.168.150.2:9000/user/hadoop/in/test1.txt
hello world
相关文章推荐
- Hadoop学习----直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- 直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件
- 使用FileSystem以标准输出格式显示HDFS当中的文件
- 使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次
- FileSystem以标准输出格式显示Hadoop文件中的文件
- 标准输出方式显示Hadoop文件系统的文件实例
- java使用FileSystem上传文件到hadoop文件系统
- 项目中在Android.mk文件中根据项目名称选择不同的AndroidManifest.xml文件 && 如何使用系统设定的日期显示格式
- Java基础之IO流,打印系统信息至标准输出设备或文件中Properties.list()
- 使用java的输出流写一个json格式的文件在指定目录下
- java使用FileSystem上传文件到hadoop分布式文件系统配置
- Hadoop2.7.1版本---标准输出HDFS文件系统中的文件
- hadoop学习笔记之以标准输出方式显示hadoop文件
- jsp向页面显示图片,找不到文件时直接使用java画图
- Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
- 使用 B、KB、MB、GB 等常规格式显示文件大小
- c#使用系统ImageList显示文件图标
- 查看自己linux版本使用的文件系统格式
- 在Java中,直接将类的对象使用system.out.println输出