通过交互式网页爬取，抓取天猫商品价格

通过交互式网页爬取，抓取天猫商品价格。

方式：模拟点击颜色分类，然后读取定价

参考(1)：http://www.cnblogs.com/xinzhyu/p/4214669.html

主要利用CasperJS工具包：http://casperjs.org/

其中最重要的是通过css3选择器，来选取需要操作的网页DOM元素，css3选择器参见：http://www.w3cplus.com/css3/basic-selectors

查看元素的小技巧：

在浏览器上，相应元素处单击右键，选择“审查元素”，可以看到相应元素的html代码。

选择器测试小技巧：

IE或firefox，F12打开开发者窗口，在搜索栏中输入选择器，可检测选择器效果。

IE：



Firefox：



下面代码使用casperjs tm.js运行：

var casper = require('casper').create({
clientScripts: ["jquery-1.8.0.js"],
verbose: false,
logLevel: 'debug',
pageSettings: {
loadImages: false, // The WebPage instance used by Casper will
loadPlugins: false // use these settings
}
});
phantom.outputEncoding = "gbk";//解决乱码问题

//获取需要采集的url列表
casper.start('http://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.5.DOIb7J&id=15770542928&skuId=77000178467&cat_id=2&rn=834703bc8f2c7b8023fafe89107e079c&user_id=291487571&is_b=1', function() {
console.log(this.getCurrentUrl());
//casper.GetDetailUrl(url);
});

//处理当前页面的所有sku价格与信息
casper.then(function getPic() {
product = casper.evaluate(function getProductFromPage() {
return $('ul[class*="tb-img"]').children().size();
});

console.log(product);

var str = ''
for (var i = 1; i <= product; i++) {
str += casper.getPrice(i) + "|";
}

var item = new Object();
item.price = str;
item.numiid = this.getCurrentUrl();

console.log(str);
});

//获取商品的价格
casper.getPrice = function(index) {
var dd = casper.clickByImg(index);
if (dd == -1) {
return '';
}

productPrice = casper.evaluate(function getPriceFromPage() {
return $('.tm-price').first().text().trim();
});

return (dd + "_" + productPrice);
};

//点击小图及获取此商品的data-value
casper.clickByImg = function(index) {
this.click('ul.tb-img>li:nth-child(' + index + ') a');
return index;
};

casper.run();

以上代码参考(1)修改，仅实现抓取一个给定链接的商品价格，并在控制台输出。若要通过node.js来对链接列表中的商品进行多线程抓取，并且把抓到的价格通过json post到服务器，可以参考原文的方法。