hadoop and s3

一 :配置,hadoop-site.xml的配置如下

<property>
<name>fs.default.name</name>
<value>s3://BUCKET</value>
</property>

<property>
<name>fs.s3.awsAccessKeyId</name>
<value>ID</value>
</property>

<property>
<name>fs.s3.awsSecretAccessKey</name>
<value>SECRET</value>
</property>

或者

<property>
<name>fs.default.name</name>
<value>s3://ID:SECRET@BUCKET</value>
</property>

二:hadoop通过package org.apache.hadoop.fs.s3 和 package org.apache.hadoop.fs.s3native来調用s3的存储服务,在s3里有下面几个概念:accesskey,secritykey,bucket,object