hadoop伪分布式安装-腾讯云
2017-04-16 18:16
162 查看
最近学习hadoop,为了方便,于是我在腾讯云上安装部署了 hadoop伪分布式
环境:
腾讯云——1G内存,20G硬盘,1M带宽;
系统是Ubuntu16
java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinxike/9600178)
hadoop版本是hadoop-2.6.5.tar.gz(下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz)
先在本地把 jdk和hadoop下载下来,再通过 xftp 软件把jdk和hadoop上传到腾讯云上(我把jdk和hadoop放在/usr/local 目录下)
以下所有操作都是root用户
先关闭防火墙:# service iptables stop
开始工作了:
1.进入/usr/local 目录
# cd /usr/local/
2.解压 jdk-8u101-linux-x64.tar.gz
# tar -zxvf jdk-8u101-linux-x64.tar.gz
3.配置jdk环境变量(在profile文件的后面添加如下内容)
# vi /etc/profile
4.刷新profile文件
# source /etc/profile
5.查看jdk的版本号
# java -version
6.安装ssh软件,启动ssh
# apt-get install -y ssh
# /etc/init.d/sshd start
7.设置ssh免密码登录(默认会放在当前用户的目录中)
# ssh-keygen -t rsa -P ''
# cd /root/.ssh
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 777 ~/.ssh/authorized_keys
8.进入/usr/local 目录
# cd /usr/local
9.解压hadoop-2.6.5.tar.gz(我的解压包名字是:hadoop-2.6.5)
# tar -zxvf hadoop-2.6.5.tar.gz
# mv hadoop-2.6.5 /usr/local/hadoop
10.配置hadoop环境变量,这样就可以在任意目录中使用hadoop指令
# vi /etc/profile
查看hadoop版本
11.hadoop伪分布式配置,先进入hadoop配置文件目录下
# cd /usr/local/hadoop/etc/hadoop/
12.修改 core-site.xml文件,hdfs-site.xml文件,mapred-site.xml文件,slaves文件,分别如下:
core-site.xml文件:
hdfs-site.xml文件:
mapred-site.xml文件:
slaves文件:
说明:master是主机名
13.修改 /etc/hosts 文件
# vi /etc/hosts
说明:119.29.167.178是腾讯云的公网ip
14.格式化namenode
# hadoop namenode -format
15.启动hadoop
# start-all.sh
16.查看hadoop的进程
说明:可以看到NameNode,DataNode,NodeManager,ResourceManager进程说明启动成功了。
环境:
腾讯云——1G内存,20G硬盘,1M带宽;
系统是Ubuntu16
java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinxike/9600178)
hadoop版本是hadoop-2.6.5.tar.gz(下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz)
先在本地把 jdk和hadoop下载下来,再通过 xftp 软件把jdk和hadoop上传到腾讯云上(我把jdk和hadoop放在/usr/local 目录下)
以下所有操作都是root用户
先关闭防火墙:# service iptables stop
开始工作了:
1.进入/usr/local 目录
# cd /usr/local/
2.解压 jdk-8u101-linux-x64.tar.gz
# tar -zxvf jdk-8u101-linux-x64.tar.gz
3.配置jdk环境变量(在profile文件的后面添加如下内容)
# vi /etc/profile
4.刷新profile文件
# source /etc/profile
5.查看jdk的版本号
# java -version
6.安装ssh软件,启动ssh
# apt-get install -y ssh
# /etc/init.d/sshd start
7.设置ssh免密码登录(默认会放在当前用户的目录中)
# ssh-keygen -t rsa -P ''
# cd /root/.ssh
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 777 ~/.ssh/authorized_keys
8.进入/usr/local 目录
# cd /usr/local
9.解压hadoop-2.6.5.tar.gz(我的解压包名字是:hadoop-2.6.5)
# tar -zxvf hadoop-2.6.5.tar.gz
# mv hadoop-2.6.5 /usr/local/hadoop
10.配置hadoop环境变量,这样就可以在任意目录中使用hadoop指令
# vi /etc/profile
查看hadoop版本
11.hadoop伪分布式配置,先进入hadoop配置文件目录下
# cd /usr/local/hadoop/etc/hadoop/
12.修改 core-site.xml文件,hdfs-site.xml文件,mapred-site.xml文件,slaves文件,分别如下:
core-site.xml文件:
hdfs-site.xml文件:
mapred-site.xml文件:
slaves文件:
说明:master是主机名
13.修改 /etc/hosts 文件
# vi /etc/hosts
说明:119.29.167.178是腾讯云的公网ip
14.格式化namenode
# hadoop namenode -format
15.启动hadoop
# start-all.sh
16.查看hadoop的进程
说明:可以看到NameNode,DataNode,NodeManager,ResourceManager进程说明启动成功了。
相关文章推荐
- hadoop单机模式和伪分布式模式安装过程
- Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示
- hadoop学习(mac 上安装 hadoop伪分布式以及hadoop的eclipse插件)
- Hadoop安装记录(伪分布式)
- Hadoop伪分布式与集群式安装配置
- hadoop 配置安装(分布式)
- Hadoop2安装——伪分布式模式
- hbase0.20.1,hadoop 1.0.0 完全分布式安装过程
- Ubuntu11.10下安装Hadoop1.0.1(单机伪分布式)
- Hadoop在Linux下伪分布式的安装 wordcount实例的运行
- Hadoop简易分布式安装
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- 在centos虚拟机中安装hadoop(伪分布式模式)
- Ubuntu Hadoop 完全分布式安装
- Hadoop + HBase 伪分布式安装
- hadoop单机模式和伪分布式模式安装过程
- Hadoop分布式模式安装成功
- hadoop分布式 安装(3台节点)
- ubuntu下hadoop安装与伪分布式的配置
- hadoop学习之hadoop完全分布式集群安装