scanf()函数连续输入数字,字符引发的小问题
2013-04-14 20:09
489 查看
我在以前的项目中使用的是pdfbox,在读取中文文档时可以读出大部分的文字,但是在数字、分页等地方还是不可避免的出现乱码。于是我在网上搜索,看有没有什么解决方法,看到有说法:
“PDFBox看起来非常的方便,它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点,就是它不支持中文。要提取中文的文本,可以采用另一个非常出色的工具xpdf。”
于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。
一、关于XPDF和PDFBOX
1.xpdf
xpdf只是一个软件,通过java采用命令行调用,并获取输出结果,如此来说使用简单,但是相当受限,如:无法跨平台,无法处理特定格式(表格等),无法处理图片和其他附件。这种调用必定限制了它的灵活性。
2.pdfbox
pdfbox(一个BSD许可下的源码开放项目)是一个为开发人员读取和创建PDF文档而准备的纯Java类库。
二、XPDF的配置
1.工具包下载
点这里
下载
我下载的是:
xpdf-3.02pl4-win32.zip
另外还需要一个语言包:
xpdf-chinese-simplified.tar.gz
2.工作路径设置
参考资料点这里
在本文中以 c:\xpdftest\xpdf 作为xpdf的工作路径。
将
xpdf-3.02p14-win32.zip 解压到 c:\xpdftest\xpdf 下。
将
xpdf-chinese-simplified.tar.gz 解压到 c:\xpdftest\xpdf\xpdf-chinese-simplified
下。
解压后的目录结构如图1所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/eff7df982cafcfb3d6c844a61756ba50.png)
3.修改配置文件
为了启用中文简体语言包,必须将
xpdf-chinese-simplified
目录下的
sample-xpdfrc
文件进行如下配置,并将其另存为
xpdfrc
文件
。
注意:此文件为配置文件,而且名称必须是
xpdfrc
。如果是别的名字,即使调用
pdftotext.exe
时,传入
”
-cfg xpdfrc2
”
来告诉
xpdf
配置文件的名字,好像
pdftotext.exe
也并没有使用这个配置文件。所以为了减少误解,请您将配置文件直接命名为
xpdfrc
。
修改
sample-xpdfrc
文件之一
在文件后面
加上一段话
:
注意:路径要跟自己配置的一样。
修改
sample-xpdfrc
文件之二
另外,配置文件中原先没有加上一个“
textPageBreaks
”控制。为了避免这个分页符号,我们需要在
sample-xpdfrc
文件
“
text output control
”下面
加上一段话
:
设置
textPageBreaks
为
no
的意思是:在
PDF
文档的两页之间不加入分页符号。
之所以这样,是因为这个符号有时候会引起
SAX
解析
XML
上的困难。
修改
sample-xpdfrc
文件之三
配置文件中原先把
textEncoding
注释了。这样默认的字符集是
Latin1
。我们必须打开它,并且就是指定
textEncoding
为
UTF-8
,而不是
GB2312
。即修改这句话
:
三、PDFBOX的配置
请点这里
查看PDFBOX的配置。
四、工程调用示范
在自己的常用工作环境下新建一个工程PdfTest,并在此工程下新建一个包pdfToText。
此包包括三个类:
TestPdfToText.java
包括Main函数,调用并测试xpdf和pdfbox对PDF文档的处理效果。
PdfboxToText.java 用pdfbox来处理PDF文档。
XpdfToText.java 用xpdf来处理PDF文档。
目录结构如图2所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/ece5d1b1f643e7c95ffc5eae95fe4a8f.png)
在C盘根目录下有061231.pdf,在工程中相应设置路径进行测试,以下是源代码
:
TestPdfToText.java
PdfboxToText.java
XpdfToText.java
五、测试结果和总结
1.txt文件大小
一个大小为74KB的PDF文档经处理为txt文档后,大小明显减小。
经xpdf处理后生成了10KB的txt文件。
经pdfbox处理后生成了12KB的txt文件。
2.时间性能
从运行结果来看,xpdf处理的速度明显大大快于pdfbox的处理速度,几乎是1/10。
如图3所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/a12b7133d56afbafdaada6502db4fc6c.png)
3.读取效果
在设置了保持原PDF文档的布局的情况下,xpdf读取的效果如图4所示
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/86b8a9d54b8e2a3cf63bdf2f4d713af3.png)
若不保持原PDF文的的布局,xpdf读取的效果如图5所示
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/ea464bb8b4704a2f2e5b9c277f5d4a2b.png)
经pdfbox读取的效果如图6和图7所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/8c21f99ed56dcbb3890bd673ac8eaf75.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/eae621d41c754271c4315b87301b61e1.png)
4.分析总结
从以上调用结果可以发现,在时间性能和空间性能上,xpdf都明显优于pdfbox
。在最关键的读取效果上,pdfbox会自动在某些读取文字中加入一些格式,比如回车、空格等,造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上,两种方法读出的乱码都是比较一致的,这应该是由于这两个方法的缺陷造成的。
综上所示,如果不要求很高的移植性的话,采用xpdf应该是比较好的方法
。
(完)
create@2010-03-08
“PDFBox看起来非常的方便,它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点,就是它不支持中文。要提取中文的文本,可以采用另一个非常出色的工具xpdf。”
于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。
一、关于XPDF和PDFBOX
1.xpdf
xpdf只是一个软件,通过java采用命令行调用,并获取输出结果,如此来说使用简单,但是相当受限,如:无法跨平台,无法处理特定格式(表格等),无法处理图片和其他附件。这种调用必定限制了它的灵活性。
2.pdfbox
pdfbox(一个BSD许可下的源码开放项目)是一个为开发人员读取和创建PDF文档而准备的纯Java类库。
二、XPDF的配置
1.工具包下载
点这里
下载
我下载的是:
xpdf-3.02pl4-win32.zip
另外还需要一个语言包:
xpdf-chinese-simplified.tar.gz
2.工作路径设置
参考资料点这里
在本文中以 c:\xpdftest\xpdf 作为xpdf的工作路径。
将
xpdf-3.02p14-win32.zip 解压到 c:\xpdftest\xpdf 下。
将
xpdf-chinese-simplified.tar.gz 解压到 c:\xpdftest\xpdf\xpdf-chinese-simplified
下。
解压后的目录结构如图1所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/eff7df982cafcfb3d6c844a61756ba50.png)
3.修改配置文件
为了启用中文简体语言包,必须将
xpdf-chinese-simplified
目录下的
sample-xpdfrc
文件进行如下配置,并将其另存为
xpdfrc
文件
。
注意:此文件为配置文件,而且名称必须是
xpdfrc
。如果是别的名字,即使调用
pdftotext.exe
时,传入
”
-cfg xpdfrc2
”
来告诉
xpdf
配置文件的名字,好像
pdftotext.exe
也并没有使用这个配置文件。所以为了减少误解,请您将配置文件直接命名为
xpdfrc
。
修改
sample-xpdfrc
文件之一
在文件后面
加上一段话
:
#----- begin Chinese Simplified support package (2004-jul-27) cidToUnicode Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode unicodeMap ISO-2022-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap unicodeMap EUC-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap unicodeMap GBK C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap cMapDir Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/CMap toUnicodeDir C:/xpdf/chinese-simplified/CMap #displayCIDFontTT Adobe-GB1 /usr/..../gkai00mp.ttf #----- end Chinese Simplified support package
注意:路径要跟自己配置的一样。
修改
sample-xpdfrc
文件之二
另外,配置文件中原先没有加上一个“
textPageBreaks
”控制。为了避免这个分页符号,我们需要在
sample-xpdfrc
文件
“
text output control
”下面
加上一段话
:
# If set to "yes", text extraction will insert page # breaks (form feed characters) between pages. This # defaults to "yes". textPageBreaks no
设置
textPageBreaks
为
no
的意思是:在
文档的两页之间不加入分页符号。
之所以这样,是因为这个符号有时候会引起
SAX
解析
XML
上的困难。
修改
sample-xpdfrc
文件之三
配置文件中原先把
textEncoding
注释了。这样默认的字符集是
Latin1
。我们必须打开它,并且就是指定
textEncoding
为
UTF-8
,而不是
GB2312
。即修改这句话
:
textEncoding UTF-8
三、PDFBOX的配置
请点这里
查看PDFBOX的配置。
四、工程调用示范
在自己的常用工作环境下新建一个工程PdfTest,并在此工程下新建一个包pdfToText。
此包包括三个类:
TestPdfToText.java
包括Main函数,调用并测试xpdf和pdfbox对PDF文档的处理效果。
PdfboxToText.java 用pdfbox来处理PDF文档。
XpdfToText.java 用xpdf来处理PDF文档。
目录结构如图2所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/ece5d1b1f643e7c95ffc5eae95fe4a8f.png)
在C盘根目录下有061231.pdf,在工程中相应设置路径进行测试,以下是源代码
:
TestPdfToText.java
package pdfToText; /** * 功能描述:测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果 * @author Emily * @Create 2010-03-07 */ public class TestPdfToText { /** * @param args */ public static void main(String[] args) { String rootPath = "c:\\061231"; //pdf文件路径 String pdffile = rootPath + ".pdf"; //用xpdf生成的txt文件路径 String xpdfToTxtfile = rootPath + "_xpdf.txt"; //用pdfbox生成的txt文件路径 String pdfboxToTxtfile = rootPath + "_pdfbox.txt"; //XPDF try{ long begin = System.currentTimeMillis(); XpdfToText xpToTxt = new XpdfToText(pdffile); xpToTxt.toTextFile(xpdfToTxtfile); long end = System.currentTimeMillis(); System.out.println("xpdf\t cost:\t" + (end - begin) + " ms"); }catch(Exception e){ e.printStackTrace(); } //PDFBOX try{ long begin = System.currentTimeMillis(); PdfboxToText pbToTxt = new PdfboxToText(pdffile); pbToTxt.toTextFile(pdfboxToTxtfile); long end = System.currentTimeMillis(); System.out.println("pdfbox\t cost:\t" + (end - begin) + " ms"); }catch(Exception e){ e.printStackTrace(); } } }
PdfboxToText.java
package pdfToText; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileWriter; import java.io.IOException; import org.pdfbox.pdfparser.PDFParser; import org.pdfbox.pdmodel.PDDocument; import org.pdfbox.util.PDFTextStripper; public class PdfboxToText { private String filePath; public PdfboxToText(String filePath){ this.filePath = filePath; } public String getTextFromPdf(){ String result = null; FileInputStream is = null; PDDocument document = null; try { is = new FileInputStream(filePath); PDFParser parser = new PDFParser(is); parser.parse(); document = parser.getPDDocument(); PDFTextStripper stripper = new PDFTextStripper(); result = stripper.getText(document); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } finally { if (is != null) { try {is.close();}catch(IOException e){e.printStackTrace();} } if (document != null) { try{document.close();}catch (IOException e){e.printStackTrace();} } } return result; } public void toTextFile(String filePath){ String pdfContent = getTextFromPdf(); try{ File f = new File(filePath); if(!f.exists()){ System.out.println("not exist"); f.createNewFile(); } BufferedWriter output = new BufferedWriter(new FileWriter(f)); output.write(pdfContent); output.close(); }catch (Exception e) { e.printStackTrace(); } } }
XpdfToText.java
package pdfToText; import java.io.File; import java.io.IOException; public class XpdfToText { // PDF文件名 private File pdffile; // 转换器的存放位置,默认在c:\xpdftest\xpdf下面 private String CONVERTOR_STORED_PATH = "c:\\xpdftest\\xpdf\\"; // 转换器的名称,默认为pdftotext private String CONVERTOR_NAME = "pdftotext"; // 构造函数,参数为pdf文件的路径 public XpdfToText(String pdffile) throws IOException { this.pdffile = new File(pdffile); } // 将pdf转为文本文档,参数为目标文件的路径 public void toTextFile(String targetfile) throws IOException { toTextFile(targetfile, true); } // 将pdf转为文本文档,参数1为目标文件的路径, // 参数2为true则表示使用PDF文件中的布局 public void toTextFile(String targetfile, boolean isLayout) throws IOException { String[] cmd = getCmd(new File(targetfile), isLayout); Runtime.getRuntime().exec(cmd); } // 获取PDF转换器的路径 public String getCONVERTOR_STORED_PATH() { return CONVERTOR_STORED_PATH; } // 设置PDF转换器的路径 public void setCONVERTOR_STORED_PATH(String path) { if (!path.trim().endsWith("\\")) path = path.trim() + "\\"; this.CONVERTOR_STORED_PATH = path; } // 解析命令行参数 private String[] getCmd(File targetfile, boolean isLayout) { // 命令字符 String command = CONVERTOR_STORED_PATH + CONVERTOR_NAME; // PDF文件的绝对路径 String source_absolutePath = pdffile.getAbsolutePath(); // 输出文本文件的绝对路径 String target_absolutePath = targetfile.getAbsolutePath(); // 保持原来的layout String layout = "-layout"; // 设置编码方式 String encoding = "-enc"; String character = "GBK"; // 设置不打印任何消息和错误 String mistake = "-q"; // 页面之间不加入分页 String nopagebrk = "-nopgbrk"; // 如果isLayout为false,则设置不保持原来的layout if (!isLayout) layout = ""; return new String[] { command, layout, encoding, character, mistake, nopagebrk, source_absolutePath, target_absolutePath }; } }
五、测试结果和总结
1.txt文件大小
一个大小为74KB的PDF文档经处理为txt文档后,大小明显减小。
经xpdf处理后生成了10KB的txt文件。
经pdfbox处理后生成了12KB的txt文件。
2.时间性能
从运行结果来看,xpdf处理的速度明显大大快于pdfbox的处理速度,几乎是1/10。
如图3所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/a12b7133d56afbafdaada6502db4fc6c.png)
3.读取效果
在设置了保持原PDF文档的布局的情况下,xpdf读取的效果如图4所示
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/86b8a9d54b8e2a3cf63bdf2f4d713af3.png)
若不保持原PDF文的的布局,xpdf读取的效果如图5所示
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/ea464bb8b4704a2f2e5b9c277f5d4a2b.png)
经pdfbox读取的效果如图6和图7所示。
![](https://oscdn.geek-share.com/Uploads/Images/Content/202003/16/8c21f99ed56dcbb3890bd673ac8eaf75.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201107/eae621d41c754271c4315b87301b61e1.png)
4.分析总结
从以上调用结果可以发现,在时间性能和空间性能上,xpdf都明显优于pdfbox
。在最关键的读取效果上,pdfbox会自动在某些读取文字中加入一些格式,比如回车、空格等,造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上,两种方法读出的乱码都是比较一致的,这应该是由于这两个方法的缺陷造成的。
综上所示,如果不要求很高的移植性的话,采用xpdf应该是比较好的方法
。
(完)
create@2010-03-08
相关文章推荐
- 一个字符变量存储到动态分配内存引发的输入问题解决--连续输入scanf函数存在缓冲区的问题
- C语言中用scanf连续输入两个字符类型的问题
- C语言中用scanf连续输入两个字符类型的问题
- scanf输入字符和数字的问题
- 避免scanf函数输入单个字符时与回车冲突的问题
- 关于用连续用多个scanf函数输入数据时前面的scanf函数会在缓冲区留下回车符的问题
- 习题 7.8 写一个函数,输入一个4位数字,要求输出这4个数字字符,但每两个数字间空一个空格。如输入1990,应输出“1 9 9 0”。
- 文件输入中的good()函数读取不到最后一个字符的问题
- scanf()函数的参数输入类型不匹配问题
- 8.8 写一个函数,输入一个4位数字, 要求输出这4个数字字符, 但每两个数字间有一个空格。 如输入1990,应输出“1 9 9 0”。
- 深入解析scanf()/getchar()和gets()等函数针对字符串输入的问题
- 输入一个字符串,内有数字和非数字字符,例如 A123x456 17960? 302tab5876 操作:将连续的数字作为一个整数,一次存放到一数组a中,例如123存放在a【0】中,456放在a【1】中
- 写一个函数,输入一串字符串,求这个字符串中有多少个英文,多少空格,多少个数字,多少个其它字符
- 有关scanf的输入函数的一些问题
- 输入字符串,内有数字和非字符数组,例如A123x456将其中连续的数字作为一个整数,依次存放到一个数组中,如123放到a[0],456放到a[1],并输出a这些数
- 习题 7.9 编写一个函数,由实参传来一个字符串,统计此字符串中字母、数字、空格、和其他字符的个数,在主函数中输入字符串以及输出上述的结果。
- scanf读输入缓存引发的问题
- scanf连续输入字符,中间不要忘记\n
- c语言中scanf输入带空格的字符串以及scanf输入单个字符的问题
- 用scanf函数检验输入非法字符