您的位置:首页 > 编程语言 > Java开发

Eclipse中采用本地作业运行器(Job Runner)运行Hadoop测试(Hadoop2.7.3) - 2

2017-05-06 15:36 429 查看
上一篇说到的方式采用的hadoop-local.xml中的配置,在执行是设置了Program Arguments,如果嫌麻烦,还有一种思路,在代码里写配置如下:效果和原理上一篇中的一样,不过改成了写到代码里。

public static void main(String[] args) throws Exception {
//配置本地模式
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "file:///");
conf.set("mapreduce.jobtracker.address", "local");
//输入数据
Path input = new Path("D:/temperData.data");
//输出目录
Path output = new Path("D:/mnt/temperoutput/999/");
//删除原有输出目录
FileSystem fs = FileSystem.get(conf);
fs.delete(output, true);

MaxTemperatureDriver driver = new MaxTemperatureDriver();
//设置配置文件
driver.setConf(conf);

int extCode = driver.run(new String[]{input.toString(),output.toString()});

System.out.println("exit code : "+extCode);

}


不过环境变量还是需要配置的:

    HADOOP_HOME指向Hadoop解压目录

    PATH中加入%HADOOP_HOME%bin

或者在debug/run Configuration 的

    VM参数中加入:

    -Dhadoop.home.dir=D:\IT\hadoop-2.7.2

    Environments环境变量中加入:

    PATH  %PATH%;D:/xxx/Hadoop/bin
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: