Ubuntu16.10下安装Hadoophadoop-2.8.0(单机模式)
2017-04-05 23:16
477 查看
阅读目录
1、安装Ubuntu16.10
2、安装JDK1.8.0
3、安装Hadoop2.8.0
4、SSH无密码登录
本文仅作为学习笔记,供大家初学Hadoop时学习参考。初学Hadoop,欢迎有经验的朋友进行指导与交流!
增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
输入:sudo gedit /etc/sudoers
回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
su hadoop
1)验证是否安装ssh:ssh -version
显示如下的话则成功安装了
OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013
Bad escape character 'rsion'.
否则安装ssh:sudo apt-get install ssh
sudo apt-get install openssh-server
安装完成后,启动服务
sudo /etc/init.d/ssh start
查看服务是否正确启动:ps -e | grep ssh
设置免密码登录,生成私钥和公钥
配置为可以免密码登录本机。首先查看在lifei用户下是否存在.ssh文件夹(注意ssh前面有个“.”,这是一个隐藏文件夹),输入命令:
ls -a /home/hadoop
一般来说,安装SSH时候回自动在当前用户下创建这个隐藏文件夹,如果没有,可以手动创建一个。
接下来,输入命令(注意下面命令中不是双引号,是两个单引号):
2)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
3)cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。至此无密码登录本机已设置完毕。
此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
hadoop@ubuntu:~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4)现在可以登入ssh确认以后登录时不用输入密码:
~$ ssh localhost
登出:
~$ exit
第二次登录:
~$ ssh localhost
登出:
~$ exit
这样以后登录就不用输入密码了。
5)scp <本地文件名> <用户名>@<ssh服务器地址>:<上传保存路径即文件名>
由于使用ssh,我们无法使用简单的拖拽或者复制粘贴操作对本地计算机和ssh服务器上的文件进行交流。我们需要用到scp命令行。
举例以说明。如果希望将当前目录下的a.txt文件上传到ssh服务器上test文件夹并改名为b.txt,其中ssh服务器网址为127.0.0.1,用户名admin。代码如下:
程序代码
scp a.txt admin@127.0.0.1:./test/b.txt
下载也很简单,只需要将“本地文件名”和后面服务器的信息对调即可。
scp hadoop-1.0.3.tar.gz hadoop02@10.130.26.18:~/
http://apache.fayea.com/hadoop/core/
http://mirror.bit.edu.cn/apache/hadoop/common/
解压
sudo tar -zxvf hadoop-2.8.0.tar.gz
假如我们要把hadoop安装到/usr/local下
拷贝到/usr/local/下,文件夹为hadoop
sudo mv hadoop-2.8.0 /usr/local/hadoop
赋予用户对该文件夹的读写权限
sudo chmod 777 /usr/local/hadoop
1)配置~/.bashrc
配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径
sudo gedit ~/.bashrc
该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/jvm/jdk1.8.0_121
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
执行下面命,使添加的环境变量生效:
source ~/.bashrc
2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh
执行下面命令,打开该文件的编辑窗口
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME变量,修改此变量如下
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77
单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功
/usr/local/hadoop路径下创建input文件夹
mkdir input
拷贝README.txt到input
cp README.txt input
执行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.2-sources.jar org.apache.hadoop.examples.WordCount input output
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.0-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*,查看字符统计结果
1、安装Ubuntu16.10
2、安装JDK1.8.0
3、安装Hadoop2.8.0
4、SSH无密码登录
本文仅作为学习笔记,供大家初学Hadoop时学习参考。初学Hadoop,欢迎有经验的朋友进行指导与交流!
1、安装Ubuntu16.10
2、安装JDK1.8.0
3、在Ubuntu 下创建hadoop组合hadoop用户
增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。
1、创建hadoop用户组
sudo addgroup hadoop
2、创建hadoop用户
sudo adduser --ingroup hadoop hadoop回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
3、为hadoop用户添加权限
输入:sudo gedit /etc/sudoers回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
4、用新增加的hadoop用户登录Ubuntu系统
su hadoop
4、SSH无密码登录
1)验证是否安装ssh:ssh -version显示如下的话则成功安装了
OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013
Bad escape character 'rsion'.
否则安装ssh:sudo apt-get install ssh
sudo apt-get install openssh-server
安装完成后,启动服务
sudo /etc/init.d/ssh start
查看服务是否正确启动:ps -e | grep ssh
设置免密码登录,生成私钥和公钥
配置为可以免密码登录本机。首先查看在lifei用户下是否存在.ssh文件夹(注意ssh前面有个“.”,这是一个隐藏文件夹),输入命令:
ls -a /home/hadoop
一般来说,安装SSH时候回自动在当前用户下创建这个隐藏文件夹,如果没有,可以手动创建一个。
接下来,输入命令(注意下面命令中不是双引号,是两个单引号):
2)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
3)cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。至此无密码登录本机已设置完毕。
此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
hadoop@ubuntu:~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4)现在可以登入ssh确认以后登录时不用输入密码:
~$ ssh localhost
登出:
~$ exit
第二次登录:
~$ ssh localhost
登出:
~$ exit
这样以后登录就不用输入密码了。
5)scp <本地文件名> <用户名>@<ssh服务器地址>:<上传保存路径即文件名>
由于使用ssh,我们无法使用简单的拖拽或者复制粘贴操作对本地计算机和ssh服务器上的文件进行交流。我们需要用到scp命令行。
举例以说明。如果希望将当前目录下的a.txt文件上传到ssh服务器上test文件夹并改名为b.txt,其中ssh服务器网址为127.0.0.1,用户名admin。代码如下:
程序代码
scp a.txt admin@127.0.0.1:./test/b.txt
下载也很简单,只需要将“本地文件名”和后面服务器的信息对调即可。
scp hadoop-1.0.3.tar.gz hadoop02@10.130.26.18:~/
4、安装Hadoop2.8.0
http://apache.fayea.com/hadoop/core/http://mirror.bit.edu.cn/apache/hadoop/common/
1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/
2、安装
解压sudo tar -zxvf hadoop-2.8.0.tar.gz
假如我们要把hadoop安装到/usr/local下
拷贝到/usr/local/下,文件夹为hadoop
sudo mv hadoop-2.8.0 /usr/local/hadoop
赋予用户对该文件夹的读写权限
sudo chmod 777 /usr/local/hadoop
3、配置
1)配置~/.bashrc
配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径
sudo gedit ~/.bashrc
该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/jvm/jdk1.8.0_121
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
执行下面命,使添加的环境变量生效:
source ~/.bashrc
2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh
执行下面命令,打开该文件的编辑窗口
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME变量,修改此变量如下
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77
六、WordCount测试
单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功
/usr/local/hadoop路径下创建input文件夹
mkdir input
拷贝README.txt到input
cp README.txt input
执行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.2-sources.jar org.apache.hadoop.examples.WordCount input output
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.0-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*,查看字符统计结果
相关文章推荐
- Ubuntu下安装Hadoophadoop-2.8.0(单机模式)
- ubuntu下安装hadoop(单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04安装Hadoop2.5.2(单机模式)
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu单机模式安装Hadoop——亲验
- Hadoop单机模式安装入门(Ubuntu系统)
- 在Ubuntu上安装Hadoop(单机模式)步骤
- ubuntu13.04环境hadoop1.2.1单机模式安装
- Ubuntu14.04下安装hadoop2.6.0(单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Virtualbox安装Ubuntu13.04并搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- Ubuntu14.04下安装Hadoop2.5.1 (单机模式)
- Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
- 在Ubuntu上安装Hadoop(单机模式)