Hadoop学习笔记
2015-11-22 10:04
309 查看
1、在ubuntu环境安装jdk
# javac 若,没有安装jdk,则会提示安装包
# apt-get install <安装包> 一般是 openjdk-7-jdk
安装完之后,要设置环境变量
# vim /etc/profile (注:该文件是环境配置文件,所有用户都会访问到)
在顶部注释之下添加如下代码:(注意红色的部分是jdk安装目录,在安装过程列表中可以找到)
#java环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
然后使用source命令让配置文件立刻生效,而不必重启。
# source /etc/profile
2、获取hadoop并安装
# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载之后解压到 /opt/hadoop,进入到/opt/hadoop/conf,里面有三个后缀-site.xml的文件和一个hadoop-env.sh需要配置
首先配置 hadoop-env.sh ,将里面的 export JAVA_HOME 注释去掉,并事先用 echo $JAVA_HOME获取到值,替换这里。
其次,配置 core-site.xml 在configuration标签内添加如下配置代码
<property>
<name>hadoop.tmp.dir</name> #工作目录
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name> #源数据工作目录
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name> # 文件目录
<value>hdfs://localhost:8080</value>
</property>
再次,配置文件系统的数据存放目录 hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
最后,配置任务调度器 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>
此时,再次编辑 vim /etc/profile,添加修改hadoop信息 。即如下配置
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
再生效 source /etc/profile
此时 输入hadoop命令就有提示了
对namenode进行格式化操作 # hadoop namenode -format
# javac 若,没有安装jdk,则会提示安装包
# apt-get install <安装包> 一般是 openjdk-7-jdk
安装完之后,要设置环境变量
# vim /etc/profile (注:该文件是环境配置文件,所有用户都会访问到)
在顶部注释之下添加如下代码:(注意红色的部分是jdk安装目录,在安装过程列表中可以找到)
#java环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
然后使用source命令让配置文件立刻生效,而不必重启。
# source /etc/profile
2、获取hadoop并安装
# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载之后解压到 /opt/hadoop,进入到/opt/hadoop/conf,里面有三个后缀-site.xml的文件和一个hadoop-env.sh需要配置
首先配置 hadoop-env.sh ,将里面的 export JAVA_HOME 注释去掉,并事先用 echo $JAVA_HOME获取到值,替换这里。
其次,配置 core-site.xml 在configuration标签内添加如下配置代码
<property>
<name>hadoop.tmp.dir</name> #工作目录
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name> #源数据工作目录
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name> # 文件目录
<value>hdfs://localhost:8080</value>
</property>
再次,配置文件系统的数据存放目录 hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
最后,配置任务调度器 mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>
此时,再次编辑 vim /etc/profile,添加修改hadoop信息 。即如下配置
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
再生效 source /etc/profile
此时 输入hadoop命令就有提示了
对namenode进行格式化操作 # hadoop namenode -format
相关文章推荐
- shell配置--《shell脚本编程诀窍》
- opencv:轮廓属性
- Linux可重入函数
- Linux 下配置网卡的别名即网卡子IP的配置
- Docker在测试领域的应用
- linux读写ntfs
- Copy List with Random Pointer
- linux下tar命令参数详解
- linux中系统性能监测工具包sysstat
- linux中磁盘IO相关信息统计工具iostat
- linux中CPU相关信息统计工具mpstat
- linux虚拟内存相关信息统计工具vmstat
- Linux多线程编程
- Linux之更好的使用Bash
- Linux下查看cpu数、内核数、线程数命令
- 解决:The Apache Tomcat Native library which allows
- awstats和jawstats对apache、nginx进行多站点日志分析
- Centos6.5下的rsync+inotify远程实时文件同步服务搭建
- 常用的shell脚本
- Linux Shell 常用命令总结