mapreduce 自定义key/value 输出分隔符
2013-12-27 10:53
1001 查看
mapreduce 默认情况下 key/value 分隔符为:“\t”
测试的输出如下:
我们可以在代码中进行设置来自定义 key/value 输出分隔符:在代码中添加如下一行代码:
conf.set("mapred.textoutputformat.separator", ";"); //此处以”;“作为分割符,后边介绍为什么这么修改
修改代码后,测试修改结果:
修改原因:
我们checkout hadoop-1.2.1版本
打开文件:TextOutputFormat.java
我们可以看到如下一行代码:
String keyValueSeparator= conf.get("mapred.textoutputformat.separator",
"\t");
代码的意思是:读取设置的key/value输出分隔符,如果没有读取到,默认使用 "\t"
所以我们就在任务执行前设置名称为:mapred.textoutputformat.separator 的自定义值 即可
相关文章推荐
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- 如何自定义mapreduce在输出的key和value之间自动添加的分隔符
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
- Hadoop的mapper输出中key和value之间的分隔符