Hadoop HDFS over HTTP
2014-08-20 15:30
225 查看
Hadoop HDFS overHTTP-Documentation Sets2.4.1
HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方式。它与webhdfsREST HTTP API彼此协作。HttpFS可以被用来在运行不同版本的Hadoop集群间传递数据(克服了RPC版本不同的问题),例如使用HadoopDistCP工具。
HttpFS可以被用来访问有防火墙的集群中的HDFS(HttpFS服务器扮演一个gateway的角色,只有这个gateway被允许穿过防火墙进入集群)。
HttpFS使用HTTP工具(像curl或者wget)或者其他语言的HTTP类库访问HDFS中的数据。
Webhdfs客户端文件系统可以使用Hadoop文件系统命令行工具(hadoopfs)访问HttpFS,在java 应用程序中可以使用Hadoop文件系统的java API访问。
HttpFS内置了安全机制,支持Hadoop pseudo 验证,HTTP SPNEGO Kerberos 验证,或者其他的可拔插的认证机制。它也提供Hadoop代理用户的支持。
How does HttpFs works?
HttpFS是Hadoop NameNode中一个单独的服务。HttpFS本身是一个java web应用,它运行在提前配置好的绑定了HttpFs的tomcat的二进制发行版。
HttpFS HTTP web服务是调用HTTPREST,HTTP REST映射到一个HDFS文件系统操作。例如,使用curlUnix命令:
1. $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo/README.txt
返回HDFS /user/foo/README.txt文件的内容。
2. $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo?op=list
以JSON格式返回HDFS /user/foo目录中的内容。
3. $ curl -X POSThttp://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=mkdirs
创建HDFS中/user/foo/bar文件夹。
How HttpFS and Hadoop HDFS Proxydiffer?
HttpFS受Hadoop HDFS代理的启发。HttpFS可以被认为是Hadoop HDFS 代理的完全重写。
Hadoop HDFS代理提供了一部分文件系统的操作(只有读取信息的操作),HttpFS提供了所有文件系统操作的支持。
HttpFS用一个干净的HTTP REST API使其用HTTP工具使用时更直观。
HttpFS支持Hadoop pseudo 认证,Kerberos SPNEGOS 认证和Hadoop代理用户。Hadoop HDFS 代理不支持。
User and DeveloperDocumentation
HttpFS Server SetupUsing HTTP Tools
相关文章推荐
- Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools
- Hadoop HDFS over HTTP
- Hadoop HDFS over HTTP 2.4.1 - Server Setup
- Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools
- Hadoop HDFS over HTTP 2.4.1 - Server Setup
- Alex 的 Hadoop 菜鸟教程: 第18课 用Http的方式访问HDFS - HttpFs 教程
- hadoop2.7.3的ftp over hdfs搭建:
- hadoop使用javaAPI实现hdfs常见操作(转载于http://www.cnblogs.com/xuqiang/archive/2011/06/03/2042526.html)
- Hadoop HDFS 的 HttpFS
- Hadoop2.7.1---hdfs-over-ftp
- springMVC + hadoop + httpclient 文件上传请求直接写入hdfs
- Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController(一)
- FastDFS 5.0.1 Nginx+fastdfs_nginx_model 1.15 vs HDFS httpFS hadoop2.7.1 http get 小文件性能对比
- hadoop 中hdfs-site.xml RPC HTTP TCP/IP 服务器的用途
- 分布式SQL数据库引擎基于Hadoop HDFS
- Hadoop硬实战之一:使用flume将系统日志文件导入HDFS
- hadoop--HDFS之读写流程
- Hadoop HDFS高可用性(HA) 部署篇
- 启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析
- CentOS Hadoop格式化HDFS异常java.net.UnknownHostException