hadoop集群基本配置及启动

在CSDN课程中看了下hadoop的教学视频，把hadoop的最基本配置记录了下：

在整个过程中需要用到的几个命令顺便写下来，如下：

centos7 查看防火墙命令：

firewall-cmd --state

关闭防火墙：

systemctl stop firewalld.service

解压命令：

tar –xvf file.tar //解压 tar包 

tar -xzvf file.tar.gz //解压tar.gz 

tar -xjvf file.tar.bz2 //解压 tar.bz2 

tar –xZvf file.tar.Z //解压tar.Z 

unrar e file.rar //解压rar 

unzip file.zip //解压zip 

查看端口号命令：

netstat -ntlp   //查看当前所有tcp端口·

netstat -ntulp |grep 80   //查看所有80端口使用情况·

netstat -an | grep 3306   //查看所有3306端口使用情况·

远程拷贝命令：

scp -r /usr/local/src/hadoop-2.4.0 hadoop-server-01:/usr/local/src/hadoop-2.4.0     ps:hadoop-server01是目标主机名

设置可写权限：

chmod -R 777 file_url

安装jdk：

首先卸载自带的jdk

查看自带jdk：rpm -qa | grep java

卸载：rpm -e --nodeps 

然后安装自己下载的jdk并配置环境变量

hadoop 配置：

0.hadoop安装好后首先格式化：

  进入到hadoop安装目录的bin目录下执行

  ./hadoop namenode -format

  

  然后修改映射：

  vi /etc/hosts

hadoop安装目录的etc/hadoop/

1.修改环境变量

  vi hadoop-env.sh

  找到export JAVA_HOME 所在行,把等号后面的值改为jdk的安装路径

  修改完成后使文件立即生效：source file_name

2.hadoop运行的公共的配置

  vi core-site.xml

  在<configuration></configuration>标签中增加键值对,如下

  <property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-server-00:9000/</value>

  </property>

  <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-2.4.0/tmp/</value>

  </property>

  

  ps:
第一个参数表示hadoop默认使用的文件系统

     上面端口号自己定义；
第二参数表示hadoop的服务进程工作时的临时目录,这里配置的是hadoop的安装目录下建个tmp

3. hdfs.xml

   vi hdfs.xml

   在<configuration></configuration>标签中增加键值对,如下

   <property>

   <name>dfs.replication</name>
<value>1</value>

   </property>

   

   ps:dfs系统默认保存文件副本的数量

4.配置mapred-site.xml.template

  首先把后面的.template 去掉，否则会无效

  执行命令：mv mapred-site.xml.template mapred-site.xml

  然后修改内容：

  vi mapred-site.xml

  在<configuration></configuration>标签中增加键值对,如下

  <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>

  </property>

  

  ps:参数说明，指定mapreduce的运行平台

  

  

5.配置yarn-site.xml

  vi yarn-site.xml

  在<configuration></configuration>标签中增加键值对,如下

  <property>

    <name>yarn.resourcemanager.hostname</name>
<value>hadoop-server-00</value>

  </property>

  <property>
<name>yarn.nodemanager.aux.services</name>
<value>mapreduce_shuffle</value>

  </property>

ps:第一个参数，yarn主节点的主机名称

6.配置slaves（配置重节点的主机名称）
vi slaves 
把localhost改为 主机名称（如果主机名称修改过） 

7.hadoop服务启动(手动)：
cd 进入到hadoop安装目录的sbin目录下;
1).启动hadoop:
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
./hadoop-daemon.sh start secondarynamenode
2).启动yarn:
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager

8.hadoop自动启动

  首先设置免密登录,否则在启动各个服务时会一直让输入密码,具体操作如下：

  生成秘钥对；ssh-keygen

  拷贝秘钥到目标主机（要登录的主机）：ssh-copy-id hadoop-server-00

  ps:ssh-copy-id 指令后面跟的是主机名称

  

  cd 进入到hadoop安装目录的sbin目录下执行命令：

  ./start-dfs.sh

  为方便在任何目录下启动，配置下Hadoop的环境变量：

  vi /etc/profile