不用linux,两步在Windows下搭建hadoop开发环境!
2012-02-05 21:03
751 查看
cygwin可以在windows下模拟出linux环境,在其上安装hadoop即可进行开发,hadoop4win提供了已经安装好hadoop的Cygwin镜像,直接下载安装包即可安装!
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
(一) hadoop4win
軟體簡介
hadoop4win,顧名思義為『Hadoop for Windows』,主要是提供Windows 平台上簡易安裝 Hadoop 的批次安裝檔。此批次安裝檔內容,主要參考自國網中心企鵝龍與再生龍團隊成員孫振凱先生之 drbl-winroll 作品,抽取安裝部分程式改寫成 hadoop4win 所需的步驟。
hadoop4win 目前包含五大軟體組成:
Cygwin - 提供精簡版,類似 Linux 的環境
JDK 1.6.0 update 18 - 運行 Hadoop 必須的 JRE(Java Runtime Environment) 與編譯程式所需之 javac 編譯器
Hadoop 0.20.2 - 包含 Hadoop 0.20.2 原始程式與中英文說明文件檔
HBase 0.20.6 - 包含 HBase 0.20.6 原始程式碼
Ant 1.8.2 - 包括 Apache Ant 1.8.2 執行檔
軟體需求
Windows 2000, Windows XP
目前已知 Windows 7 無法正常執行。
(二) Eclipse 开发环境
1. 将hadoop插件放入Eclipse 3.3的plugins中。
2. 启动Eclipse,window - openperspective - other - Map/Reduce,打开hadoop的视图。
3. 设置Map/Reduce Location, 右键 EditHadoop Location,username用你的windows登录用户名。9000和9001是在core-site.xml和mapred-site.xml中的设置.
对于这类配置文件的编辑,Cygwin的文件都可以在windows下编辑,不需要在linux终端中编辑(尽管可以),看看hadoop4win的目录就知道。
4. 设置参数!
(三) 用Eclipse开发
设置成功后,应当可以在左边看到,hadoop文件系统。
在windows下编辑两个文本,file01和file02,里面吗随便写一些英文句子。然后放到E:\hadoop4win\home\你的登录名,然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdirinput
hadoop fs -putfile01 input
hadoop fs -putfile02 input
在Eclipse中建个WordCount的例子,只要建立mapreduce project,然后在src下建一个包,下面放源代码就行了。
设置参数:
Run as “run onhadoop”
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
(一) hadoop4win
軟體簡介
hadoop4win,顧名思義為『Hadoop for Windows』,主要是提供Windows 平台上簡易安裝 Hadoop 的批次安裝檔。此批次安裝檔內容,主要參考自國網中心企鵝龍與再生龍團隊成員孫振凱先生之 drbl-winroll 作品,抽取安裝部分程式改寫成 hadoop4win 所需的步驟。
hadoop4win 目前包含五大軟體組成:
Cygwin - 提供精簡版,類似 Linux 的環境
JDK 1.6.0 update 18 - 運行 Hadoop 必須的 JRE(Java Runtime Environment) 與編譯程式所需之 javac 編譯器
Hadoop 0.20.2 - 包含 Hadoop 0.20.2 原始程式與中英文說明文件檔
HBase 0.20.6 - 包含 HBase 0.20.6 原始程式碼
Ant 1.8.2 - 包括 Apache Ant 1.8.2 執行檔
軟體需求
Windows 2000, Windows XP
目前已知 Windows 7 無法正常執行。
(二) Eclipse 开发环境
1. 将hadoop插件放入Eclipse 3.3的plugins中。
2. 启动Eclipse,window - openperspective - other - Map/Reduce,打开hadoop的视图。
3. 设置Map/Reduce Location, 右键 EditHadoop Location,username用你的windows登录用户名。9000和9001是在core-site.xml和mapred-site.xml中的设置.
对于这类配置文件的编辑,Cygwin的文件都可以在windows下编辑,不需要在linux终端中编辑(尽管可以),看看hadoop4win的目录就知道。
4. 设置参数!
(三) 用Eclipse开发
设置成功后,应当可以在左边看到,hadoop文件系统。
在windows下编辑两个文本,file01和file02,里面吗随便写一些英文句子。然后放到E:\hadoop4win\home\你的登录名,然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdirinput
hadoop fs -putfile01 input
hadoop fs -putfile02 input
在Eclipse中建个WordCount的例子,只要建立mapreduce project,然后在src下建一个包,下面放源代码就行了。
设置参数:
Run as “run onhadoop”
相关文章推荐
- hadoop的windows远程linux服务进行本地开发环境搭建
- WSL(Windows Subsystem for Linux) 搭建安装odoo10.0 开发环境
- windows和Linux下Java集成开发环境搭建
- Win8上MyEclipse10开发hadoop的环境搭建和连接Linux集群
- windows上搭建hadoop开发环境
- CentOS 6 for colinux的网络配置——《Windows下搭建CentOS 6开发环境之二》
- 跨平台wxWidgets在windows及linux上的开发环境搭建
- Hadoop开发环境搭建(linux)
- Windows下搭建Spark+Hadoop开发环境
- windows和linux中搭建python集成开发环境IDE——如何设置多个python环境
- windows下搭建hadoop开发环境
- [z]Windows 下基于 Eclipse 的可视化远程 Linux C/C++ 开发环境搭建
- Windows下使用Eclipse搭建Hadoop开发环境
- Lua学习笔记1:开发环境搭建(windows和linux)
- windows下搭建hadoop+eclipse开发环境
- Windows环境 和 Linux环境下搭建Qt开发环境
- Linux下搭建hadoop开发环境-超详细
- windows下搭建hadoop-2.6.0本地idea开发环境
- 让人死去活来的cocos2d-x安卓开发环境搭建(windows+eclipse+ndk 不用cygwin)【上图】
- 搭建linux开发环境-linux访问windows共享文件夹