hadoop集群工具distcp使用笔记
2013-09-17 19:27
465 查看
1. 环境描述
两个集群:rock 和 stone
rock无kerberos权限认证,stone有要求认证。
1. 从rock复制到stone,采用hdfs
hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/
运行在rock端,即源端
问题:报版本不对的问题(的确该如此)
2. 从rock复制到stone,采用hftp
hadoop distcp -i hftp://rock-nn:50070/user/cxz/input hdfs://stone-nn:8020/user/cxz/
运行于stone端,即目的端;
问题:no problem, it's ok!
3. 从stone复制到rock,采用hftp
hadoop distcp -i hftp://stone-nn:50070/user/cxz/input hdfs://rock-nn:8020/user/cxz/
运行于rock端,即目的端
问题:kerberos权限认证失败
在第2步中遇到一个问题:
org.apache.hadoop.security.AccessControlException: Permission denied: user=[user], access=WRITE, inode="mapred":root:supergroup:rwxr-xr-x
解决方案:将如下配置加入到mapred-site.xml
重启mapreduce:stop-mapred.sh && start-mapred.sh
两个集群:rock 和 stone
rock无kerberos权限认证,stone有要求认证。
1. 从rock复制到stone,采用hdfs
hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/
运行在rock端,即源端
问题:报版本不对的问题(的确该如此)
2. 从rock复制到stone,采用hftp
hadoop distcp -i hftp://rock-nn:50070/user/cxz/input hdfs://stone-nn:8020/user/cxz/
运行于stone端,即目的端;
问题:no problem, it's ok!
3. 从stone复制到rock,采用hftp
hadoop distcp -i hftp://stone-nn:50070/user/cxz/input hdfs://rock-nn:8020/user/cxz/
运行于rock端,即目的端
问题:kerberos权限认证失败
在第2步中遇到一个问题:
org.apache.hadoop.security.AccessControlException: Permission denied: user=[user], access=WRITE, inode="mapred":root:supergroup:rwxr-xr-x
解决方案:将如下配置加入到mapred-site.xml
<configuration> <property> <name>mapreduce.jobtracker.staging.root.dir</name> <value>/user</value> </property> </configuration>
重启mapreduce:stop-mapred.sh && start-mapred.sh
相关文章推荐
- Hadoop-Linux集群批量部署管理工具parallel-ssh(PSSH)的安装与使用
- Hadoop建设工具Ambari的安装部署及完整使用(五)——Ambari使用之集群卸载
- Hadoop跨集群数据拷贝工具DISTCP内部源码实现分析
- Hadoop详解(五)——ZooKeeper详解,ZooKeeper伪分布搭建和集群搭建,Hadoop集群搭建,sqoop工具的使用
- 第128讲:Hadoop集群管理工具dfsadmin实战详解学习笔记
- 关于Hadoop安全集群和非安全集群间Distcp的使用
- 【hadoop】Hadoop学习笔记(七):使用distcp并行拷贝大数据文件
- 使用distcp在hadoop集群之间拷贝文件w
- 第131讲:Hadoop集群管理工具均衡器Balancer 实战详解学习笔记
- Hadoop学习笔记(七):使用distcp并行拷贝大数据文件
- Hadoop建设工具Ambari的安装部署及完整使用(四)——Ambari使用之集群建立
- Hadoop集群使用双网卡问题
- 在集群上安装Hadoop1.2.1,并配置好,启动hdfs后使用jps查看datanode,启动后过一会再看就消失了
- 使用Docker在本地搭建Hadoop分布式集群 的错误总结(持续更新)
- Hadoop 2.5.1学习笔记5: mongo-hadoop connector的使用范例
- Hadoop集群部署笔记
- MultiChannelPackageTool(安卓多渠道打包工具) 工具使用笔记
- Hadoop学习笔记(八):如何使用Maven构建《hadoop权威指南3》随书的源码包
- Hadoop之——HBase集群搭建笔记(补充)
- Android下SQLite数据库学习笔记4——SQLite3工具的使用&用Genymotion模拟器时,在命令行上使用不了adb命令