eclipse添加hadoop开发插件

在开发hadoop的时候去查找了一下eclipse marketplace是没有找到hadoop的插件，上网又找了一下发现原来hadoop中其实是带有这样的插件的，



其实很简单只要将这个插件复制到eclipse/plugins目录下然后重启eclipse就可以了



重启之后就可以看到eclipse == 》window ==》 preferences 可以看到多了一个Hadoop Map/Reduce 点击Browse按钮找到你的hadoop的解压目录如图：


配置好了环境之后我们来创建一个本地连接，点击Windows==》show view ==》 other 选择MapReduce Tools ==》Map/Reduce Location



然后我们新建一个本地连接，这这里右键 New hadoop Location



然后我们的配置host：这里的Map/Reduce Master对应hadoop配置文件中的mapred-site.xml

　　　　　　　　　　　　　　DFS Master的配置对应core-site.xml详细请看图





配置好后的应该是这样的：



这里配置好之后我们可以启动hadoop来简单的测试一下



如果跟上面的输出信息一样证明正常启动了，如果没有正常启动估计是在配置的时候除了问题。下面我给几个简单的小测试程序可以运行一下

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
* copy local file  to hadoop system    将文件拷贝到HDFS
* @author root
*
*/
public class ConpyFile {

public static void main(String[] args) {
//get local system configuration
Configuration conf = new Configuration();
try {

FileSystem hdfs = FileSystem.get(conf);

Path src = new Path("/home/admin/test3");
Path dst = new Path("/");

hdfs.copyFromLocalFile(src, dst);;

FileStatus files[] = hdfs.listStatus(dst);

for(int i = 0; i < files.length; i++){
System.out.println("status :"+files[i]);
}
} catch (IOException e) {
e.printStackTrace();
}

}

}

这里注意我的文件是已经创建的然后拷贝到hdfs上如果在上传的时候找不到文件可能跟linux下的权限有关系。建议修改权限就可以了。

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
* create a hdfs file   创建hdfs文件
* @author root
*
*/
public class CreateHDFSFile {

public static void main(String[] args) {
Configuration conf = new Configuration();  //获取系统的hadoop的配置环境
try {
FileSystem hdfs = FileSystem.get(conf);//获取文件系统对象
byte bytes[] = "Hello word !".getBytes();
Path dfs = new Path("/test");
FSDataOutputStream outputStream = hdfs.create(dfs);
outputStream.write(bytes, 0, bytes.length);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

}

}

重命名hadoop系统中的一个文件的名称：

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
* rename hdfs file
* @author root
*
*/
public class ReNameHDFSFile {

public static void main(String[] args) {
Configuration conf = new Configuration();
FileSystem hdfs;
try {
hdfs = FileSystem.get(conf);
Path frpath = new Path("/test3");
Path topath = new Path("/test1");
boolean isRename = hdfs.rename(frpath, topath);
System.out.println("rename is finish:"+isRename);

} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

检查文件的最后的修改时间：

package com.hadoop.test;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
* check hdfs file last modify time
* @author root
*
*/
public class CheckFileLastModifyTime {

public static void main(String[] args) {
Configuration conf = new Configuration();
try {
FileSystem hdfs = FileSystem.get(conf);

Path fpath = new Path("/test1");
FileStatus fileStatus = hdfs.getFileStatus(fpath);
long lastModifyTime = fileStatus.getModificationTime();

SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
System.out.println("the last modify time is :"+sdf.format(new Date(lastModifyTime)));

} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

}

}