Hadoop2.7.1——NFS部署
2015-10-10 12:22
435 查看
Hadoop2.7.1——NFS部署
Ø service nfs stop
Ø service rpcbind stop
命令:(centos 5)
Ø service nfs stop
Ø service portmap stop
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
<description>允许所有用户组用户代理</description>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>localhost</value>
<description>允许挂载的主机域名</description>
</property>
说明:name标签中的root是用户名称,这是表示可以超级用户访问。*表示所有的用户组,有时还需要创建超级用户组,否则会用警告提示。
命令:groupadd supergroup
在hdfs-site.xml中增加如下操作
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.rtmax</name>
<value>1048576</value>
<description>Thisis the maximum size in bytes of a READ request supported by the NFS gateway. Ifyou change this, make sure you also update the nfs mount's rsize(add rsize= #of bytes to the mount directive).</description>
</property>
<property>
<name>nfs.wtmax</name>
<value>65536</value>
<description>Thisis the maximum size in bytes of a WRITE request supported by the NFS gateway.If you change this, make sure you also update the nfs mount's wsize(add wsize=# of bytes to the mount directive).</description>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>*rw</value>
<description>允许所有主机对文件有rw权限</description>
</property>
若在启动时想看到相关的启动详细信息,在hadoop主目录/etc/Hadoop/log4j.property中添加如下信息:
log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG
log4j.logger.org.apache.hadoop.oncrpc=DEBUG
启动顺序如下:
Ø 启动Hadoop:start-all.sh
Ø 启动portmap: hdfs portmap &
Ø 启动nfs3: hdfs nfs3 &
显示以上信息说明启动成功了。
Ø rpcinfo -p ip或localhost
Ø 加载命令:mkdir -p/mnt/hdfs
mount -t nfs -o vers=3,proto=tcp,nolocklocalhost:/ /mnt/hdfs
将hadoop根目录加载到/mnt/hdfs中
2、从hdfs上复制文件到本地目录:
第一步:关闭本机的NFS与RPCBIND服务(centos6),若是CentOS5(关闭NFS与portmap服务)
命令:(centos 6)Ø service nfs stop
Ø service rpcbind stop
命令:(centos 5)
Ø service nfs stop
Ø service portmap stop
第二步:修改core-site.xml与hdfs-site.xml
在core-site.xml添加<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
<description>允许所有用户组用户代理</description>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>localhost</value>
<description>允许挂载的主机域名</description>
</property>
说明:name标签中的root是用户名称,这是表示可以超级用户访问。*表示所有的用户组,有时还需要创建超级用户组,否则会用警告提示。
命令:groupadd supergroup
在hdfs-site.xml中增加如下操作
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.rtmax</name>
<value>1048576</value>
<description>Thisis the maximum size in bytes of a READ request supported by the NFS gateway. Ifyou change this, make sure you also update the nfs mount's rsize(add rsize= #of bytes to the mount directive).</description>
</property>
<property>
<name>nfs.wtmax</name>
<value>65536</value>
<description>Thisis the maximum size in bytes of a WRITE request supported by the NFS gateway.If you change this, make sure you also update the nfs mount's wsize(add wsize=# of bytes to the mount directive).</description>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>*rw</value>
<description>允许所有主机对文件有rw权限</description>
</property>
第三步:启动相关操作
前提:在配置了环境变量下,(没有配置环境变量,进入Hadoop主目录/bin下启动),Hadoop可以已格式化后正常启动。若在启动时想看到相关的启动详细信息,在hadoop主目录/etc/Hadoop/log4j.property中添加如下信息:
log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG
log4j.logger.org.apache.hadoop.oncrpc=DEBUG
启动顺序如下:
Ø 启动Hadoop:start-all.sh
Ø 启动portmap: hdfs portmap &
Ø 启动nfs3: hdfs nfs3 &
第四步:查看相关信息和加载目录
Ø 查看是否启动成功 : showmount -e ip或localhost显示以上信息说明启动成功了。
Ø rpcinfo -p ip或localhost
Ø 加载命令:mkdir -p/mnt/hdfs
mount -t nfs -o vers=3,proto=tcp,nolocklocalhost:/ /mnt/hdfs
将hadoop根目录加载到/mnt/hdfs中
第五步:测试
1、往hdfs上复制文件:[root@ hanyan ~] # time cp jdk.tar.gz /mnt/hdfs/
从上面的测试来看,在目前这个环境中:上传速度约为:20m/s2、从hdfs上复制文件到本地目录:
[root@ hanyan ~] # time cp /mnt/hdfs/test.txt /home/hanyan
从上面的测试来看,在目前这个环境中:下载速度约为:30m/s,当下载的文件在hdfs的缓存中时,下载速度非常快。相关文章推荐
- 【OpenGL】glut
- hadoop 中context.collect 和 context.write的区别
- 如何制作一个类似狗耳朵的网站
- linux开机过程
- 【Nginx探究系列二】Nginx配置篇之客户Nginx白名单访问配置
- iPad 上的chrome "切换到桌面网站" 导致的mouse over效果
- Centos下安装zookeeper集群
- Powershell 获取特定的网页信息的代码
- Tomcat目录下文件详解
- Part 2 Creating, altering and dropping a database
- Linux 删除文件夹和创建文件的命令
- MyEclipse启动Tomcat出现Exception in thread "main" java.lang.OutOfMemoryError: PermGen space
- HanziToPinyin类的使用及碰到的问题
- netcdf C centos7 yum安装笔记
- Linux查看非root流程执行
- 网上流传的Linux内核开发面试题整理
- Linux 的 find 命令简单使用
- linux查看磁盘占用情况
- linux常用命令总结
- 提高篇:Linux(附答案)