node js 抓取指定网页内容gb2312乱码问题解决

开始思路是用crawler。具体地址在Github上。https://github.com/sylvinus/node-crawler

它的好处是可以用jquery选择器，方便快捷的选择出想要的内容。而且，说明文档宣称能把几乎所有的编码转化为UTf-8.我信了它整整一天，gb2312的网页都转化不了。

后来，贪图方便的jquery选择器，所以，一直在研究转码，下载了icon-lite。同样不可以。。直到。。。。。。。。发现了这篇文章
http://cnodejs.org/topic/5034b141f767cc9a51baf9b0
原来中文和英文大小不同，总之就是会截取出现一半的中文。所以转码形成乱码。用文章介绍的方式，果断的出现了中文。。此地真的想哭啊。。

ok。文章是中文了，可是内容是整个页面的源代码。太庞大了。首先想到了xpath。于是继续不断的下载，尝试，下载，尝试。错误都是那一个。

用的是xpath.js .地址是https://github.com/yaronn/xpath.js

这个工具可以容易的解析xml内容。可是对于一个大型网页内容来说，会出现很多很多，前后Tag标签不对称的情况，所以，还是失败。。

最后， 终于发现，还有一种方法，htmlparse。抱着试一试的态度，下载，安装。奇迹发生了，我终于可以抓取自己想要的中文的内容了。。此处哭不停啊

ok。htmlparse的地址是https://github.com/harryf/node-soupselect

初学node。代码混乱，见谅

var http = require('http'),

url = require('url').parse('http://psv.tgbus.com/');

var iconv = require('iconv-lite'); //用于转码

var BufferHelper = require('bufferhelper');//用于拼接BUffer。防止中文单词断裂

var select = require('soupselect').select,//选择器

htmlparser = require("htmlparser");

http.get(url,function(res){

var bufferHelper = new BufferHelper();

res.on('data', function (chunk) {

bufferHelper.concat(chunk);

});

res.on('end',function(){

var tex=iconv.decode(bufferHelper.toBuffer(),'GBK');

var handler = new htmlparser.DefaultHandler(function(err, dom) {

if (err) {

// sys.debug("Error: " + err);

} else {

// soupselect happening here...

var titles = select(dom, 'title');

// sys.puts("Top stories from reddit");

console.log(JSON.stringify(titles));

}

});

var parser = new htmlparser.Parser(handler);

parser.parseComplete(tex);

});

})