hadoop自定义数据类型
2013-04-22 15:48
537 查看
很多时候我们都需要实现自己的数据类型,可以通过实现Writable接口来实现自己的需要,其中只要实现两个方法即可,readFields(DataInput in) 方法和 write(DataOutput out)方法。举例如下供参考:
public class ImageVector extends Vector<Double> implements Writable { public double distance=0; private static final long serialVersionUID = 1L; public ImageVector() { } // 这里需要注意下自己定义的数据类型的需要传输的数据类型和内容。由于这里输出的的是一个集合,需要先读取长度,然后在读取每个元素的内容,最后是其他成员变量。 @Override public void readFields(DataInput in) throws IOException { clear(); int size = in.readInt(); // System.out.println("szie"+size); int i=0; while(i<size) { this.add(in.readDouble()); i++; } distance=in.readDouble(); } //这里需要和read的读取的顺序保持一致。 @Override public void write(DataOutput out) throws IOException { out.writeInt(this.size()); Iterator<Double> iter=this.iterator(); while(iter.hasNext()) { out.writeDouble(iter.next()); } out.writeDouble(this.distance); } } }
相关文章推荐
- Hadoop——自定义数据类型,实现WritableComparable, 并且 分组,排序
- Hadoop入门(七)之java对应的Hadoop数据类型及自定义类型序列化
- Hadoop自定义数据类型和输入格式
- 结合手机上网流量业务来说明Hadoop中的自定义数据类型(序列化、反序列化机制)
- Hadoop 自定义数据类型及输入格式
- hadoop map reduce自定义数据类型时注意顺序,否则报错。
- Hadoop MapReduce编程 API入门系列之自定义多种输入格式数据类型和排序多种输出格式(十一)
- Hadoop 自定义数据类型和自定义排序
- hadoop自定义数据类型
- 干货--Hadoop自定义数据类型和自定义输入输出格式整合项目案例
- hadoop 自定义数据类型
- Hadoop系列-MapReduce自定义数据类型(序列化、反序列化机制)(十二)
- Hadoop 自定义数据类型
- Hadoop自定义排序和自定义数据类型使用(setSortComparatorClass和setGroupingComparatorClass)
- hadoop-自定义数据类型
- 了解Hadoop数据类型,输入输出格式及用户如何自定义。
- Hadoop 学习自定义数据类型
- Hadoop之自定义数据类型
- hadoop自定义数据类型
- Hadoop自定义排序和自定义数据类型使用(setSortComparatorClass和setGroupingComparatorClass)