解决xml解析中报文格式和encoding不一致的解析错误

1.错误现象

我遇到过这样的xml文件,用c++解析的时候，报如下的错误：

Fatal Error at file "d:/test2.xml", line 1, column 40
Message: An exception occurred! Type:UTFDataFormatException, Message:invalid byte 2 (? of a 2-byte sequence.

用java解析这个文件的时候，报如下错误

Invalid byte 1 of 1-byte UTF-8 sequence.
java.io.UTFDataFormatException: Invalid byte 1 of 1-byte UTF-8 sequence.
at org.apache.xerces.impl.io.UTF8Reader.invalidByte(Unknown Source)
at org.apache.xerces.impl.io.UTF8Reader.read(Unknown Source)
at org.apache.xerces.impl.XMLEntityScanner.load(Unknown Source)
at org.apache.xerces.impl.XMLEntityScanner.skipChar(Unknown Source)
at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatcher.dispatch(Unknown Source)
at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown Source)
at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source)
at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source)
at org.apache.xerces.parsers.XMLParser.parse(Unknown Source)
at org.apache.xerces.parsers.DOMParser.parse(Unknown Source)
at org.apache.xerces.jaxp.DocumentBuilderImpl.parse(Unknown Source)
at javax.xml.parsers.DocumentBuilder.parse(Unknown Source)

2.程序内容

java程序内容如下：

import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;

import org.w3c.dom.Document;
import org.w3c.dom.Element;

public class XMLTest {

/**
* @param args
*/
public static void main(String[] args) {
try {
DocumentBuilderFactory docBuilderFactory = DocumentBuilderFactory.newInstance();
DocumentBuilder docBuilder = docBuilderFactory.newDocumentBuilder();

Document doc = docBuilder.parse("d:/test2.xml");
Element root = doc.getDocumentElement();
System.out.println("root --> "+root.getTagName());   //根节点名

}catch(Exception e){
System.out.println(e.getMessage());
e.printStackTrace();
}
}

}

c++程序用到了xerces-c，代码段如下：

XercesDOMParser *parser = NULL;
DOMTreeErrorReporter *errReporter = NULL;
DOMDocument *document = NULL;

DOMNode 		*DOMRootNode = NULL;

try
{
//初始化
parser = new XercesDOMParser;
errReporter = new DOMTreeErrorReporter();
parser->setErrorHandler(errReporter);
parser->parse("d//test2.xml");
if(errReporter->getSawErrors())
{
printf("xml格式错误/n");
delete errReporter;
delete parser;
return -1;
}
}catch (const OutOfMemoryException& outEx)
{
}catch (const XMLException& e)
{
}
catch (const DOMException& DomE)
{	}
catch (...)
{	}

3.原因分析

文件test2.xml内容如下：

<?xml version="1.0" encoding="UTF-8" ?>
<InterBOSS>
<OrderMemberInfo>
<OrderNumber/>
<ProductID>1</ProductID>
<OrderSource>1</OrderSource>
<ProductOrderMembers>
<ProductOrderMember>
<ww>1</ww>
<Action>1</Action>
<MemberTypeID>1</MemberTypeID>
<EffDate>20090512161449</EffDate>
<Extends>
<Extend>
<CharacterID>95105</CharacterID>
<CharacterName>定位方式</CharacterName>
<CharacterValue>A</CharacterValue>
</Extend>
<Extend>
<CharacterID>95108</CharacterID>
<CharacterName>终端ID</CharacterName>
<CharacterValue>TEST</CharacterValue>
</Extend>
<Extend>
<CharacterID>95106</CharacterID>
<CharacterName>终端车牌号</CharacterName>
<CharacterValue>123456</CharacterValue>
</Extend>
<Extend>
<CharacterID>95107</CharacterID>
<CharacterName>终端型号</CharacterName>
<CharacterValue>TEST</CharacterValue>
</Extend>
<Extend>
<CharacterID>95109</CharacterID>
<CharacterName>终端类型</CharacterName>
<CharacterValue>2</CharacterValue>
</Extend>
</Extends>
</ProductOrderMember>
</ProductOrderMembers>
</OrderMemberInfo>
</InterBOSS>

我把这个文件放在本地，用ie打开该文件，解析有问题,不能正常显示。

修改encoding="gbk"，然后说用ie打开，就没有问题了。

再次运行java程序和c++程序，正常运行，没有报告错。

说明文件格式有问题，最简单的解决办法就是修改文件的encoding段。

但是有些时候这样做起来可操作性能不强。

我遇到的问题是，别人发给我一个错误的文件，我打电话给对方，告诉他，文件格式有问题，对方不承认，还说别的厂商为什么没有找他，“晕”，死活不修改，而且程序一直会自动运行，手工去修改显然不显示，用脚本修改文件的额内容也不好。

放心，程序是“万能”的，平时遇到的所谓bug，看似不可能的问题，认真分析之后，都能通过程序来解决问题。

4.分析、解决问题

既然xml文件的内容没有被编码为encoding指定的内容，我们可以把文件的内容读出来，然后在进行编码，将编码后的内容进行解析，问题就解决了。

再不修改文件内容的情况下，修改java程序，内容如下：

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;

import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;

import org.w3c.dom.Document;
import org.w3c.dom.Element;

public class XMLTest {

/**
* @param args
*/
public static void main(String[] args) {
try {
DocumentBuilderFactory docBuilderFactory = DocumentBuilderFactory.newInstance();
DocumentBuilder docBuilder = docBuilderFactory.newDocumentBuilder();
File file =  new File("d:/test2.xml");
if(!file.exists())
{
System.out.println(file.getAbsolutePath() + "文件不存在");
return;
}
//先读文件
StringBuffer strBuffer = new StringBuffer();
FileInputStream fileIn = new FileInputStream(file);
byte[] buf = new byte[1024];
int len = 0;
while( (len = fileIn.read(buf)) > 0)
{
String str = new String(buf, 0, len);
strBuffer.append(str);
}
System.out.print(strBuffer.toString());

ByteArrayInputStream stream = new ByteArrayInputStream((strBuffer.toString()).getBytes("utf-8"));
//InputStream inStream =

Document doc = docBuilder.parse(stream);
Element root = doc.getDocumentElement();
System.out.println("root --> "+root.getTagName());   //根节点名
}
catch(Exception e){
System.out.println(e.getMessage());
e.printStackTrace();
}
}

}

运行正确，成功打印出根节点名字。

程序先将文件的内容读出，然后转换成utf-8的编码，组装成一个字符流进行解析。

c++程序也是一样，先读出文件内容，然后用icu转换成utf-8编码，组装成内容结构进行解析。

c++程序段内容如下：

XercesDOMParser *parser = NULL;
DOMTreeErrorReporter *errReporter = NULL;
DOMDocument *document = NULL;

DOMNode 		*DOMRootNode = NULL;

try
{
//初始化
parser = new XercesDOMParser;
errReporter = new DOMTreeErrorReporter();
parser->setErrorHandler(errReporter);

//1.读取文件
FILE *fReadFile = NULL;
if ((fReadFile = fopen(fullFileName.c_str(), "r"))==NULL)
{
printf("读取文件出错,文件不存在或者没有读取权限!/n");
return -1;
}

AISTD string strBuf;//存放文件内容
char line[g_line_size];
int read_len = 0;
while(!feof(fReadFile))
{
char *s = fgets(line, g_line_size, fReadFile);
if(s == NULL)
{
if(ferror(fReadFile))
{
errdesc = strerror(ferror(fReadFile));
return -1;
}
else
break;
}

strBuf += line;
}

//2.将文件内容进行编码
UnicodeString unicodeStr(strBuf.c_str());//得到unicode
UConverter *conv = NULL;
UErrorCode status = U_ZERO_ERROR;
conv = ucnv_open("utf-8", &status);//打开转换服务的函数
if(U_FAILURE(status))
{
errdesc = "创建ICU转换器句柄失败.";
return -1;
}

//得到目标字符串
uint32_t len = 0, len2 = 0;
len2 = unicodeStr.length();
uint32_t xmlLen = unicodeStr.length() * 3;
char*		xmlBuf = new char[xmlLen];
UChar*	uchar_buf = unicodeStr.getBuffer(unicodeStr.length());//得到Unicode缓冲地址
len = ucnv_fromUChars(conv, xmlBuf, xmlLen, uchar_buf, len2, &status);
if(U_FAILURE(status))
{
fprintf(stderr, "status == %s/n", u_errorName(status));
return -1;
}
//得到目标字符串
xmlBuf[len] = 0;//将编码后的xml报文截断
MemBufInputSource *memBufIS = new MemBufInputSource( (const XMLByte*)xmlBuf, strlen(xmlBuf), "STRBUF",false);

//开始解析报文
parser->parse(*memBufIS);

if(errReporter->getSawErrors())
{
printf("xml格式错误/n");			         delete errReporter;
delete parser;
return -1;
}

//得到文档对象
document = parser->getDocument();
//得到dom根节点
DOMRootNode = (DOMNode*)document->getDocumentElement();

//delete []xmlBuf;

}catch(otl_exception& p){
}catch (const OutOfMemoryException& outEx)
{
}catch (const XMLException& e)
{
}
catch (const DOMException& DomE)
{
}
catch (...)
{
}

上面用到了一些icu的函数，没有用过icu的兄弟，可以查看一下这方面的资料。