您的位置:首页 > 运维架构

windows hadoop 运行配置 (spark 写文件)

2018-03-21 21:51 387 查看
1. 下载hadoop版本,解压到相关目录(例如:d:/app/hadoop)2.下载winutils的windows版本(注意hadoop版本保持一致)    winutils下载地址 https://github.com/steveloughran/winutils    随便解压到一个目录    将解压出来的bin文件夹覆盖hadoop压缩包解压出来的bin目录。(例如:d:/app/hadoop/bin)3.配置环境变量  增加用户变量HADOOP_HOME,值是下载的zip包解压的目录(例如:d:/app/hadoop),      然后在系统变量path里增加%HADOOP_HOME%\bin 。4.压缩包里的hadoop.dll,并拷贝到c:\windows\system32目录中。
如果下载的版本与hadoop不对应,或者windows环境没配置好,会报错:1、java.io.IOException: (null) entry in command string: null chmod 06442、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
ref   http://blog.csdn.net/zengmingen/article/details/52204429
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark hadoop
相关文章推荐