Eclipse中采用本地作业运行器(Job Runner)运行Hadoop测试(Hadoop2.7.3) - 2
2017-05-06 15:36
429 查看
上一篇说到的方式采用的hadoop-local.xml中的配置,在执行是设置了Program Arguments,如果嫌麻烦,还有一种思路,在代码里写配置如下:效果和原理上一篇中的一样,不过改成了写到代码里。
不过环境变量还是需要配置的:
HADOOP_HOME指向Hadoop解压目录
PATH中加入%HADOOP_HOME%bin
或者在debug/run Configuration 的
VM参数中加入:
-Dhadoop.home.dir=D:\IT\hadoop-2.7.2
Environments环境变量中加入:
PATH %PATH%;D:/xxx/Hadoop/bin
public static void main(String[] args) throws Exception { //配置本地模式 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "file:///"); conf.set("mapreduce.jobtracker.address", "local"); //输入数据 Path input = new Path("D:/temperData.data"); //输出目录 Path output = new Path("D:/mnt/temperoutput/999/"); //删除原有输出目录 FileSystem fs = FileSystem.get(conf); fs.delete(output, true); MaxTemperatureDriver driver = new MaxTemperatureDriver(); //设置配置文件 driver.setConf(conf); int extCode = driver.run(new String[]{input.toString(),output.toString()}); System.out.println("exit code : "+extCode); }
不过环境变量还是需要配置的:
HADOOP_HOME指向Hadoop解压目录
PATH中加入%HADOOP_HOME%bin
或者在debug/run Configuration 的
VM参数中加入:
-Dhadoop.home.dir=D:\IT\hadoop-2.7.2
Environments环境变量中加入:
PATH %PATH%;D:/xxx/Hadoop/bin
相关文章推荐
- Eclipse中采用本地作业运行器(Job Runner)运行Hadoop测试(Hadoop2.7.3) - 1
- Windows 使用Eclipse配置连接hadoop,编译运行MapReduce --本地调试WordCount
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
- Hadoop2.x实战:Eclipse本地开发环境搭建与本地运行wordcount实例
- 本地Eclipse中Tomcat运行测试环境代码
- cloudera CDH5.13.1 Hadoop2.6.0 测试运行wordcount大数据统计作业
- Eclipse下运行Hadoop测试WordCount
- hadoop 2.7.3本地环境运行官方wordcount
- eclipse 中 4000 运行 Hadoop2.7.3 map reduce程序 出现错误(null) entry in command string: null chmod 0700
- Windows eclipse 本地运行Hadoop工程
- 使用Eclipse编译运行MapReduce程序 Hadoop2.7.3
- hadoop2.7.3 Windows eclipse开发环境搭建及WordCount实例运行
- 本地eclipse运行hadoop程序,操作远程服务器(供理解和入门)
- window7使用eclipse提交Hadoop作业到Hadoop集群运行方法
- 本地eclipse连接远程hadoop集群运行wordcount实例,实现远程调试
- Linux下使用Eclipse开发Hadoop应用程序 测试成功
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
- Hadoop1.0 Eclipse Plugin-作业提交
- eclipse3.7 开发的web项目,在本地没有问题,但是发布到linux上就有问题,不能正常运行的原因
- hadoop运行eclipse生成jar