原生javascript爬取网页内所有的js文件并且排序

在工作当中需要抓取70000多个网页的内容，并统计出现次数最多的js文件，刚开始的时候觉得可以搞定，但是有几个问题我不得不理清思路，如果你要用原生js写爬虫爬虫抓取别人的网页，首先要做几件事：

1.把每个url地址放在一个文件中；

2.用js读取每个url地址；

3.根据每个url地址获取该网页的内容；

4.根据内容正则匹配出所有的

<script src=""><script>

中的js的文件

5.把得到的文件入栈到数组，统计每个元素出现的次数；

6.排序！

这个是大神给我说的方法，你们可能不知道这个程序怎么执行：

进入cmd命令界面，切换到该js文件目录，输入cscipt，这个程序就可以跑起来了，不过首先你要在合适的目录存放我们爬取的url地址，将他们按照每一行进行排列，写错了可不能请求出正确的内容啊！

首先：是读url文件的函数：

function readfile(url) {
var fso = new ActiveXObject("Scripting.FileSystemObject");
var f = fso.opentextfile(url, 1, true);
var lineNum = 0;
var urlArr = [];
while (!f.AtEndOfStream) {
lineNum++;
var line = f.Readline();
var data = get("http://www." + line); //首页的文档
WScript.echo(lineNum + " =======> " + line);
WScript.echo('urlArr.length=====>:'+ urlArr.length);
if (data != null) {
var matchs = data.match(/<iframe[^>]+src="([^"]+)"/gi);
var srcReg = /[\'\"]([^\'\"]*)[\'\"]?/i; //取出src里面的内容
if (matchs != null) {
for (var i = 0; i < matchs.length; i++) {
var urlStr = matchs[i].match(srcReg)[0];
urlStr = urlStr.replace(/[\'\"']/g, '');
if (-1 != urlStr.indexOf('//')) { //如果字符串中//,拼上http://
WScript.echo("http:" + urlStr);
data += get("http:" + urlStr);
}
}
}
var url = data.match(/[\'\"]?([^\'\"]*)\.js[\'\"]?/gi);
WScript.echo(url)
if (isNaN(url) != 0 && url.length > 0) {
for (var i = 0; i < url.length; i++) {
urlArr.push(url[i])
}
}
}
}
f.close();
return urlArr;
}

然后根据里面的get请求，抓取网页所有的数据。

var req = new ActiveXObject("Msxml2.ServerXMLHTTP");
function get(url) {
try {
req.setTimeouts(10000, 10000, 10000, 30000);
req.open("GET", url, false);
req.send(null);
// return bytes2BSTR(req.responseBody);    //req.responseBody;
return req.responseText;
} catch (e) {
WScript.echo("[-] " + url + " with error code: " + e.number + ", " + e.message);
}
return "";
}

然后统计数组中每个元素（就是每个网页中所有js）出现的次数，这可是一个好几万行的数组；

//数组中每个元素出现的次数
function arrCheck(arr) {
var newArr = [];
for (var i = 0; i < arr.length; i++) {
var temp = arr[i];
var count = 0;
for (var j = 0; j < arr.length; j++) {
if (arr[j] == temp) {
count++;
arr[j] = -1;
}
}
if (temp != -1) {
var arr2 = [];
arr2.push(count)
arr2.push(temp)
newArr.push(arr2)
}
}
return newArr;      //返回数组形如
}

最后按照二维数组的第二个键降序排列，并且通过管道命令输出到本地文档上：

var urlArr = readfile("E:\\1url.txt");
// 根据二维数组的第二个键降序排列
urlArr = arrCheck(urlArr);
urlArr.sort(function(x, y) {
return y[0] - x[0];
})
WScript.echo('====================================================');
for (var i=0; i<urlArr.length; i++) {
WScript.echo(urlArr[i]);
}
WScript.echo(urlArr.length);