hadoop学习笔记之初识hadoop hadoop单机版安装

安装jdk-1.8并配置

1.将安装包复制到用户目录下并解压

tar -zxvf 安装包名 -C .

这里因为在用户目录下，可以不用sudo权限

2.配置环境变量

这个据我所知分为两种，分别是/etc/environment和~/.bashrc；前者是全局环境变量配置，后者是用户环境变量配置，根据需要选择

编辑文件，往其中添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存之后，source一下，如 source /etc/environment

但是有一个问题，如果设置系统级环境变量，在重启后需要重新source之后才能有效，对于这个问题，在用户级环境变量文件~/.bashrc中加入

source /etc/environment

指令之后，source ~/.bashrc即可

在虚拟机重启之后，无法进入用户界面，密码正确也一直在登录页面循环，这个问题是由于环境变量/etc/environment中配置问题，解决方法如下:

1.Ctrl+Alt+F5进入命令行模式并登录

2.通过vi编辑/etc/environment文件，删除添加的内容

sudo vi /etc/environment

3.在编辑时，可能会抛出vi不可用的问题,这就需要手动source /etc/environment之后，再做操作2

3.测试是否可用

java -version

安装ssh和rsync

sudo apt-get install ssh
sudo apt-get install rsync

由于前面安装过openssh，这一步暂时省略

下载hadoop2.7.3

http://hadoop.apache.org/releases.html#25+August%2C+2016%3A+Release+2.7.3+available

下载安装包并复制到用户目录下解压

配置环境变量

export HADOOP_HOME=/home/user/hadoop/hadoop2.7.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}

配置文件hadoop-env.sh(./etc/hadoop)

# set to the root of your Java installation
export JAVA_HOME=/home/user/hadoop/jdk1.8.0_121

配置输入输出目录

PS:后面操作都在hadoop目录下进行,不然可能会报错

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
cat output/*

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

配置ssh免密码登录

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_key

ssh localhost 命令测试一下，不需要密码即为成功配置

初始化namenode

hdfs namenode -format

启动hdfs服务

start-dfs.sh

浏览器中访问 http://localhost:50070/，访问成功即启动成功

配置yarn

1.etc/hadoop/mapred-site.xml(默认是~.template)

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.启动yarn服务

start-yarn.sh

浏览器访问http://localhost:8088/，测试是否可用