您的位置:首页 > 编程语言 > Java开发

odps新手上路之安装Eclipse开发环境

2015-02-26 10:34 260 查看
  
 
只看楼主更多操作楼主  发表于:
2014-11-07
—本帖被 亮伟 执行取消精华操作(2014-11-27)—

准备工作:
登录阿里云官网,开通odps服务。创建一个odps的project。
安装odps的客户端,具体的方法见
传送门
下载Eclipse并解压缩。建议到官网上下载。作为一个java开发,大家应该是很熟练的。
下载odps的Eclipse插件(把rar文件解压成jar文件)并拷贝到Eclipse解压文件里的plugins文件夹里

准备工作就绪后,开工啦~

打开Eclipse,如果之前jar包拷贝好了,点击圈圈里的地方,会出现如图的框。有看到里面odps的图标,就表示jar包拷贝成功了



然后是配置odps的客户端环境





其中odps的console directory是到odps-cli-java\odps过的,不需要配置到bin里面去

点击ok后,我们可以创建我们的odps工程了



然后会发现已经有好多文件和jar包了,这里解释一下这些文件/文件夹的用处



src就是我们代码写在这个位置

可以看到引了一个jar库,上面那个是1.6的java jdk,下面那个是从odps客户端里引用过来的一些odps的jar包。我们不需要修改这些

example里放了俩java文件,其中LocalDriver是一个模拟的odps服务器环境,所有的mr程序应该要用这里做为入口。至于怎么做入口跑后面会讲到。WordCount就是我们今天的测试脚本

mr_local_jobs:所有本地在跑的mr程序的日志啥的都放里面。等随便跑一个任务后到这个文件夹里一刷新,就能看到了

warehouse:Eclipse环境模拟的odps上的数据环境,下面的子文件夹mr_test是模拟的一个project的名字。__resources__里放的是odps里的resource,wc_in就是我们的测试表,里面的俩文件名__schema__放的是表的meta信息,比如列名和类型。另外一个放表数据。

准备工作完成,试试能不能用

打开LocalDriver.java

我在LocalDriver.java里改了id和key,比如Account account = new AliyunAccount(id, key);

然后点击下面图里的位置



双击下图的1,会出现2,点击2和3,点击run就好了

参数是

com.aliyun.odps.mapred.examples.WordCount aliyun2014 wc_in wc_out

其中的aliyun2014是我的project的名字



这时候,就可以到wc_out里的存放数据的文件里看到要的数据了。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: