mac osx 系统 brew install hadoop 安装指南
2016-04-03 00:06
549 查看
mac osx 系统 brew install hadoop 安装指南
brew install hadoop
配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹,否则无法正常启动hdfs)和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即:运行 start_all.sh
(可选)在hdfs中创建当前用户的地址: hadoop fs -mkdir -p /user/fan
开工,web ui 地址默认为:http://localhost:50070。
遇到的问题:
一, 如在hdfs -put ~/file fileonhdfs 时, 出现error:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir
原因是:
core-site.xml中设置的文件系统已满,需重新设置,并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777
二, 如在hadoop fs -ls . 命令时出现: ls: '.': No such file or directory'
请执行:
配置文件demo:
配置core-site.xml、hdfs-site.xml、mapred-site.xml
* core-site.xml:
Xml代码
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
* hdfs-site.xml:
Xml代码
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
* mapred-site.xml:
Xml代码
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>
其实这些都是基本配置, 网上一大把。配置的值的说明可以参考这3个地址:
写道 http://hadoop.apache.org/common/docs/r0.20.2/core-default.html http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html
2.3)格式化hadoop的文件系统hdfs。 执行命令 hadoop namenode -format
brew install hadoop
配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹,否则无法正常启动hdfs)和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即:运行 start_all.sh
(可选)在hdfs中创建当前用户的地址: hadoop fs -mkdir -p /user/fan
开工,web ui 地址默认为:http://localhost:50070。
遇到的问题:
一, 如在hdfs -put ~/file fileonhdfs 时, 出现error:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir
原因是:
core-site.xml中设置的文件系统已满,需重新设置,并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777
二, 如在hadoop fs -ls . 命令时出现: ls: '.': No such file or directory'
请执行:
hadoop fs -mkdir -p /user/[current login user]
配置文件demo:
配置core-site.xml、hdfs-site.xml、mapred-site.xml
* core-site.xml:
Xml代码
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
* hdfs-site.xml:
Xml代码
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
* mapred-site.xml:
Xml代码
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>
其实这些都是基本配置, 网上一大把。配置的值的说明可以参考这3个地址:
写道 http://hadoop.apache.org/common/docs/r0.20.2/core-default.html http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html
2.3)格式化hadoop的文件系统hdfs。 执行命令 hadoop namenode -format
相关文章推荐
- 《Linux内核分析》 第六节 分析Linux内核创建一个新进程的过程
- 基于JavaScript实现 网页切出 网站title变化代码
- 大型网站VS外星人智慧
- Linux下使用git命令及github项目
- linux环境下安装msyql数据库完整教程
- CentOS 7 更换 163网易yum源
- linux安装GCC详解
- CentOS 7安装配置Samba
- “Linux内核分析”实验报告(六)分析Linux内核创建一个新进程的过程
- eclipse导入tomcat源码
- linux环境下安装openjdk-8-jdk错误
- AB --- APACHE自带的压力测试工具 (APACHE BENCHMARK )
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat
- Eclipse下配置Tomcat