windows hadoop 运行配置 (spark 写文件)
2018-03-21 21:51
387 查看
1. 下载hadoop版本,解压到相关目录(例如:d:/app/hadoop)2.下载winutils的windows版本(注意hadoop版本保持一致) winutils下载地址 https://github.com/steveloughran/winutils 随便解压到一个目录 将解压出来的bin文件夹覆盖hadoop压缩包解压出来的bin目录。(例如:d:/app/hadoop/bin)3.配置环境变量 增加用户变量HADOOP_HOME,值是下载的zip包解压的目录(例如:d:/app/hadoop), 然后在系统变量path里增加%HADOOP_HOME%\bin 。4.压缩包里的hadoop.dll,并拷贝到c:\windows\system32目录中。
如果下载的版本与hadoop不对应,或者windows环境没配置好,会报错:1、java.io.IOException: (null) entry in command string: null chmod 06442、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
ref http://blog.csdn.net/zengmingen/article/details/52204429
如果下载的版本与hadoop不对应,或者windows环境没配置好,会报错:1、java.io.IOException: (null) entry in command string: null chmod 06442、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
ref http://blog.csdn.net/zengmingen/article/details/52204429
相关文章推荐
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- 攻城狮在路上(陆)-- 配置hadoop本地windows运行MapReduce程序环境
- hadoop在windows本地运行到yarn集群配置
- Idea创建maven工程 上传提交Spark运行 WordCount 配置依赖插件文件 全步骤
- Windows 使用Eclipse配置连接hadoop,编译运行MapReduce --本地调试WordCount
- 【解决问题】windows下配置Boost提示'cl' 不是内部或外部命令,也不是可运行的程序 或批处理文件
- windows 环境下 cpp 文件命令行编译的配置 & 带参数的main函数的编译和运行
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- spark在windows下运行报错ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
- 配置文件jdk和hadoop和scala和spark
- windows配置spark运行环境
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- hadoop map reduce在windows下调试运行的配置步骤
- 加载Hadoop+spark镜像文件需要修改的配置文件
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 【解决问题】windows下配置Boost提示'cl' 不是内部或外部命令,也不是可运行的程序 或批处理文件
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- 在windows下运行Hadoop程序的环境配置