hadoop之HDFS:CentOS安装和部署HDFS
2017-09-30 17:06
826 查看
一、准备工作
下载 jdk下载 Hadoop
二、安装JDK、Hadoop及配置环境变量
安装JDK
进入 /usr/lib/java-1.8.0,把压缩包jdk-8u144-linux-x64.tar.gz移动到该目录,并解压cd /usr/lib/java-1.8.0 tar zxf ./jdk-8u144-linux-x64.tar.gz
安装Hadoop
进入 /opt/hadoop目录,把压缩包hadoop-2.8.1.tar.gz移动到该目录,并解压cd /opt/hadoop tar zxf ./hadoop-2.8.1.tar.gz
配置环境变量
配置环境,编辑 /etc/profile 文件vim /etc/profile
在其后添加如下信息:
export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_144 export HADOOP_HOME=/opt/hadoop/hadoop-2.8.1 PATH=$JAVA_HOME/bin:$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATHo
JAVA_HOME jdk的路径
HADOOP_HOME hadoop路径
使配置的变量生效:
source /etc/profile
三、SSH无密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,
# ssh localhost
不需要输入密码即可登录。
四、Hadoop的伪分布式环境搭建
Hadoop 伪分布式模式是在一台机器上模拟Hadoop分布式,单机上的分布式并不是真正的分布式,而是使用线程模拟的分布式。分布式和伪分布式这两种配置也很相似,唯一不同的地方是伪分布式是在一台机器上配置,也就是名字节点(namenode)和数据节点(datanode)均是同一台机器。需要配置的文件有core-site.xml和hdfs-site.xml这两个文件他们都位于${HADOOP_HOME}/etc/hadoop/文件夹下。
core-site.xml:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/opt/hadoop/hadoop-2.8.1/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.3.39:9000</value> <final>true</final> </property> </configuration>
fs.defaultFS的value修改为本机的ip地址
hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/hadoop/hadoop-2.8.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/hadoop/hadoop-2.8.1/tmp/dfs/data</value> </property> <property> <name>dfs.namenode.http-address</name> <value>master:50070</value> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
修改/etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 yodosmart.hdfs.01 192.168.3.39 master ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 yodosmart.hdfs.01
在/etc/hosts中添加DHCP获取或者自己设置的IP地址 到localhost主机名的映射.这种方式是基于主机名称的访问,对于ip访问无效
查看当前主机名
# hostname
开放9000端口
#开放9000端口 iptables -I INPUT -p tcp -m tcp --dport 9000 -m state --state NEW,ESTABLISHED -j ACCEPT #重启防火墙 service iptables save #保存iptables service iptables restart
如果需要访问web管理页面,还需要开发50070端口
格式化hdfs
配置完成后,执行格式化命令,使HDFS的目录进行格式化:hdfs namenode -format
五、启动HDFS
启动HDFS的脚本位于Hadoop目录下的sbin文件夹中移动到hdfs主目录
sbin/start-dfs.sh # 启动HDFS脚本
在执行start-dfs.sh脚本启动HDFS时,可能出现类似如下的报错内容:
localhost: Error: JAVA_HOME is not set and could not be found.
JAVA_HOME没找到,这是因为在hadoop-env.sh脚本中有个
JAVA_HOME=${JAVA_HOME},所以只需将
${JAVA_HOME}替换成JDK的路径:
vim /etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_144
查看是否启动成功
jps
成功的话如下
7617 Jps 8214 DataNode 8393 SecondaryNameNode 8074 NameNode
关闭
sbin/stop-dfs.sh
当成功启动之后,可以在浏览器通过访问网址http://192.168.3.39:50070/
相关文章推荐
- 简明的hadoop 2.5 HA 基于centos6.5 安装部署文档(hdfs,mapreduce,hbase)
- centos-7 部署hadoop2.5.1 >>>> 分布式 HDFS(三)
- CentOS下SparkR安装部署:hadoop2.7.3+spark2.0.0+scale2.11.8+hive2.1.0
- centos 6.6 hadoop 2.7.1 完全分布式安装部署
- win8的vmware中的centOS6.6上安装hadoop2.7.0伪分布式部署
- hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件和配置CentOS网络
- hadoop学习之HDFS(2):CentOS7安装完全分布式hadoop-2.7.2
- centos 7 安装+hadoop2.6.5环境部署(伪分布式)
- centos 上hadoop2.7.3安装部署 单机版
- Hadoop Hdfs 分布文件系统安装与部署
- CentOS 6.5 安装HDFS集群(Hadoop-2.7.3)
- Hadoop学习笔记2-HDFS的安装与部署以及HDFS Shell命令
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- hadoop-hdfs文件系统的安装与部署
- centos6.5之Hadoop1.2.1完全分布式部署安装
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- Centos 下 Hadoop2.6.4安装 多节点部署
- CentOS 7.4 安装部署 hadoop 2.6 文档 V1.3
- 搭建3个节点的hadoop集群(完全分布式部署)5 flume安装及flume导数据到hdfs