Hadoop单机模式配置
2016-03-15 21:12
429 查看
Required Software
1. 安装Java环境推荐的版本在链接中有介绍HadoopJavaVersions.
2. 安装ssh以使用hadoop脚本管理远程Hadoop daemons.
Download Hadoop
relevant mirror downloadInstalling Software
安装JDK,网上的教程比较多,不做详述安装ssh,在Ubuntu Linux系统上通过如下指令安装:
$ sudo apt-get install ssh $ sudo apt-get install rsync
对于mac操作系统,需要在偏好设置中开启远程登录服务。
Configuration
配置Hadoop环境变量export HADOOP_HOME="/Users/majun/mysoftware/hadoop272" export PATH="$PATH:/Users/majun/mysoftware/scala/bin:$HADOOP_HOME/bin" export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"
修改etc/hadoop/core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
etc/hadoop/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
Setup passphraseless ssh
使用如下命令来判断是否需要输入密码来ssh登陆:ssh localhost
如果无法登陆在不输密码的情况下,可以执行下面的语句:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
Execution
序列化数据
$ bin/hdfs namenode -format
启动namenode和datanode daemon
$ sbin/start-dfs.sh
打开NameNode的web
NameNode - http://localhost:50070/[/code]创建hdfs目录
$ bin/hdfs dfs -mkdir /user $ bin/hdfs dfs -mkdir /user/<username>将本地input拷进hdfs系统中
$ bin/hdfs dfs -put etc/hadoop input运行官方提供的sample
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'检验输出文件,将hdfs文件拷到本地
$ bin/hdfs dfs -get output output $ cat output/*Reference
官方文档
相关文章推荐
- linux cifs挂载windows共享文件夹
- OPENFILER模拟存储架设RAC
- Linux 设备驱动中的 I/O模型(一)—— 阻塞和非阻塞I/O
- linux系统下mysql的安装过程
- nginx:利用负载均衡原理实现代码的热部署和灰度发布
- Linux主从复制
- squid 启动报错
- 线段树(区间更新)codeforces 292E Copying Data
- linux运维工程师的基本要求
- opencv中的基本拼接
- Linux系统编程--fork和vfork
- NSoperation用法详解及与GCD的比较
- linux离线搭建Python环境及安装numpy、pandas
- 配置tomcat manager【Tomcat Manager用户配置详解】【Tomcat的Manager显示403 Access Denied】
- Centos 6 系统镜像光盘做YUM源
- linux下编译安装的Apache安全优化方案
- CentOS linux 中mysql5.6 占用内存过大处理
- 《Linux内核分析与设计实现》读书笔记一
- 每天一个linux命令(41):ps命令
- 从NSTimer的失效性谈起(一):关于NSTimer和NSRunLoop