您的位置：首页 > 移动开发

HDFS文件内容追加(Append)

2016-03-04 13:43 441 查看

HDFS文件内容追加(Append)

　HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《FileAppendsinHDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HDFS2.x开始支持给文件追加内容，可以参见https://issues.apache.org/jira/browse/HADOOP-8230。可以再看看http://www.quora.com/HDFS/Is-HDFS-an-append-only-file-system-Then-how-do-people-modify-the-files-stored-on-HDFS。正如HADOOP-8230所述，只需要将hdfs-site.xml中的以下属性修改为true就行。

1
<property>
2
<name>dfs.support.append</name>
3
<value>
true
</value>
4
</property>
　　目前如何在命令行里面给HDFS文件中追加内容我还没找到相应的方法。但是，我们可以通过Hadoop提供的API实现文件内容追加，如何实现？这里我写了一个简单的测试程序：

01
package

com.wyp;
02
03
import

org.apache.hadoop.conf.Configuration;
04
import

org.apache.hadoop.fs.FileSystem;
05
import

org.apache.hadoop.fs.Path;
06
import

org.apache.hadoop.io.IOUtils;
07
08
import

java.io.*;
09
import

java.net.URI;
10
11
/**
12
*
blog:http://www.iteblog.com/
13
*
Date:14-1-2
14
*
Time:下午6:09
15
*/
16
public

class

AppendContent{
17
public

static
void

main(String[]args){
18
String
hdfs_path=
"hdfs://mycluster/home/wyp/wyp.txt"
;//文件路径
19
Configuration
conf=
new

Configuration();
20
conf.setBoolean(
"dfs.support.append"
,
true
);
21
22
String
inpath=
"/home/wyp/append.txt"
;
23
FileSystem
fs=
null
;
24
try

{
25
fs
=FileSystem.get(URI.create(hdfs_path),conf);
26
//要追加的文件流，inpath为文件
27
InputStream
in=
new
28
BufferedInputStream(
new

FileInputStream(inpath));
29
OutputStream
out=fs.append(
new

Path(hdfs_path));
30
IOUtils.copyBytes(in,
out,
4096
,
true
);
31
}
catch


(IOExceptione){
32
e.printStackTrace();
33
}
34
}
35
}
将上面的代码打包成jar（这里我取名为hdfs.jar）文件，然后上传到机器中，比如我上传到我的home目录，在程序运行前，我们来看看HDFS中wyp.txt文件中的内容有什么

1
[wyp
@l
-datalogm1.data.cn1
~]$/home/q/hadoop-
2.2
.
0
/bin/hadoop
fs\
2
-cat
/home/wyp/wyp.txt
3
123456
4
[wyp
@l
-datalogm1.data.cn1
~]$
好，我们再来看看/home/wyp/append.txt文件中的内容：

1
[wyp
@l
-datalogm1.data.cn1
~]$vimappend.txt
2
wyp
appendtest
看完代码中所涉及到的两个文件之后，我们再运行hdfs.jar

1
[wyp
@l
-datalogm1.data.cn1
~]$/home/q/hadoop-
2.2
.
0
/bin/hadoop
jar\
2
hdfs.jar
com.wyp.AppendContent
运行完之后，看看wyp.txt内容

1
[wyp
@l
-datalogm1.data.cn1
~]$/home/q/hadoop-
2.2
.
0
/bin/hadoop
fs\
2
-cat
/home/wyp/wyp.txt
3
123456
4
wyp
appendtest
好了，wyp.txt文件已经追加了append.txt文件中的内容了。

原文出自：http://www.iteblog.com/archives/881

========================================================================

hadoop测试例子：

========================================================================

publicstaticvoidmain(String[]args){

//TODOAuto-generatedmethodstub

StringnewFilePath=args[0];

StringtotalFilePath=args[1];

System.out.println("newfilepath:"+newFilePath);

System.out.println("totalfilepath:"+totalFilePath);

Configurationconf=newConfiguration();

conf.setBoolean("dfs.support.append",true);

FileSystemfs_new=null;

FileSystemfs_total=null;

InputStreamin=null;

OutputStreamout=null;

try{

fs_new=FileSystem.get(URI.create(newFilePath),conf);

fs_total=FileSystem.get(URI.create(totalFilePath),conf);

in=newBufferedInputStream(fs_new.open(newPath(newFilePath)));

out=fs_total.append(newPath(totalFilePath));

IOUtils.copyBytes(in,out,conf,true);

}catch(IOExceptione){

//TODOAuto-generatedcatchblock

e.printStackTrace();

}

}
                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航