hadoop常见错误

xml jar冲突：

https://issues.apache.org/jira/browse/NUTCH-964

三方包依赖：测试时可以先打成一个jar包：

<!-- 包含依赖，打成一个jar包 -->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
</plugin>

hadoop上xml文件读取解析：
这个确实比较麻烦，因为FSDataInputStream对象无法直接传给Digester.parse(InputStream input)作解析，而且直接读取文件也必须依赖Configuration，

可以采用FSDataInputStream先读入文件，后用缓存中文件构造一个输入流或inputsource，具体代码如下：

FSDataInputStream fsdis = null;
try {
fs = FileSystem.get(conf);
Path vcPath = new Path(vcfile);
if (fs.exists(vcPath)) {
fsdis = fs.open(vcPath);
} else {
logger.error("not find vcfile, filepath=" + vcfile);
}

int resultlen = 0;
byte[] result = new byte[1024 * 1024 * 100];

int bufferlen = -1;
byte[] buffer = new byte[1024 * 256];
while ((bufferlen=fsdis.read(buffer)) > 0) {
for (int i = 0; i < bufferlen; i++, resultlen++) {
result[resultlen] = buffer[i];
}
}

StringReader sr = new StringReader(new String(result, 0, resultlen));
InputSource is = new InputSource(sr);

if (this.is != null) {
vc = (XXXObject) digester.parse(is);
}

更合理：

if (CategoryLogic.getNestTree() == null) {
FileSystem fs = null;
FSDataInputStream fsdis = null;

BufferedReader bf = null;
InputSource is = null;
try {
fs = FileSystem.get(conf);
Path vcPath = new Path(vcfile);
if (fs.exists(vcPath)) {
fsdis = fs.open(vcPath);
} else {
logger.error("not find vcfile, filepath=" + vcfile);
}

bf = new BufferedReader(new InputStreamReader(fsdis));
is = new InputSource(bf);
CategoryLogic.init(is);
} catch (IOException e) {
logger.error("get filesystm error.", e);
} finally {
IOUtils.closeQuietly(fsdis);
IOUtils.closeQuietly(bf);
}
}

hadoop上运行的任务出现一部分被kill掉，但是运行结果正常：

这是因为hadoop在运行时发现 一个任务节点运行太慢，会去多个节点运行同一个任务，当一个结束，会kill掉还没结束的点，具体设置如下：

<property>
<name>mapred.map.tasks.speculative.execution</name>
<value>false</value>
</property>

<property>
<name>mapred.reduce.tasks.speculative.execution</name>
<value>false</value>
</property>

任务没运行完就被结束掉了：

这个是因为任务运行的时间超过了设置任务的最大运行时间，可以先调整以下任务参数，再优化代码

<property>
<name>mapred.task.timeout</name>
<value>900000</value>
</property>

在作mapreduce时，如果需要加载外部文件作解析需要一定内存，如vc解析，默认512m内存不够用，可以修改以下参数作调整：

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1G</value>
</property>

设置map，reduce任务数：

一个job的任务数差不多是固定的，如果map和reduce能同时运行的数量不同，带来的整体速度必然提高

<property>
<name>mapred.map.tasks</name>
<value>200</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>60</value>
</property>