Hadoop笔记（二）

HDFS文件的读取方法一，不推荐：

package com.hadooptest.hdfstest;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
//每个java虚拟机只能调用一次setURLStreamHandlerFactory
//这就意味着如果程序的其他组件已经调用了这个方法
//你将无法使用这个方法从Hadoop中读取数据
public class HdfsTest {
static{
//非常重要，这样才能识别hdfs URL
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}

private void printStream(InputStream in) throws IOException{
if(in == null){
return;
}
byte[] buffer = new byte[1024];
int len = -1;
while((len = in.read(buffer)) != -1){
System.out.println(new String(buffer,0,len));
}
}

public void readHdfsFile(){
InputStream in = null;

try{
in = new URL("hdfs://ubuntu:9000/test1").openStream();
printStream(in);
}catch(Exception ex){
ex.printStackTrace();
}finally{
if(in != null){
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}

public static void main(String[] args){
HdfsTest test = new HdfsTest();
test.readHdfsFile();
}
}

HDFS文件的读取方式二：
package com.hadooptest.hdfstest;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HdfsTest1 {
private void printStream(InputStream in) throws IOException{
if(in == null){
return;
}
byte[] buffer = new byte[1024];
int len = -1;
while((len = in.read(buffer)) != -1){
System.out.println(new String(buffer,0,len));
}
}

public void readHdfsFile(){
String url = "hdfs://ubuntu:9000/test1";
Configuration conf = new Configuration();
FileSystem fs = null;
InputStream in = null;
try {
fs = FileSystem.get(URI.create(url),conf);
in = fs.open(new Path(url));
printStream(in);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally{
if(in != null){
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
if(fs != null){
try {
fs.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}

public static void main(String[] args){
HdfsTest test = new HdfsTest();
test.readHdfsFile();
}
}

HDFS文件的写入方式：
package com.hadooptest.hdfstest;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

public class HdfsTest2 {
public void copyFile(){
String localPath = "/home/pijing/testdata";
String dstPath = "hdfs://ubuntu:9000/testdata";
InputStream in = null;
FileSystem fs = null;
OutputStream out = null;

try {
in = new BufferedInputStream(new FileInputStream(localPath));
Configuration conf = new Configuration();
fs = FileSystem.get(URI.create(dstPath),conf);
out = fs.create(new Path(dstPath),new Progressable(){

@Override
public void progress() {
System.out.println(">>>>>>>>>>>>");
}

});

IOUtils.copyBytes(in, out, 4096, true);

} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally{
if(in != null){
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
if(out != null){
try {
out.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
if(fs != null){
try {
fs.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}

public static void main(String[] args){
HdfsTest2 test2 = new HdfsTest2();
test2.copyFile();
}
}

1.读文件时，是向namenode发送请求（namenode已经将元数据与datanode的关系记录在了内存中）。文件是分为多个块的，对于一个块在namenode中记录的datanode的位置到相应的datanode进行读取，如果一个块在多个datanode中存在的话，则会自动选取最近的datanode进行读取。

2.写文件时，新建文件到命名空间中，namenode会检测该文件是否存在以及运行程序的用户是否具有该文件的权限，如果有问题会立即抛出异常；否则则会返回给用户Outputstream进行写文件。写文件的块分布在哪些datanode上由namenode分配，它通常会把第一个副本放在随机选取的datanode节点上，块的第二个副本选在与第一个datanode不在一个机架的节点上，第三个副本选在与第二个datanode同一个机架的随机节点上。

在写文件时，文件会立即可见，但写入的数据不会立即可见。通常写完一个块，那个块的数据才会可见；而正在写的块的数据是不可见的。