分别使用Python和Java抓取百度搜索结果

    最近有了点空闲学习了下Python的语法，还别说，Java学习了一段时间之后看Python的语法简单多了。记得当时主要用C语言开发的时候，看Python的代码有点困难。

    看了下Python的语法后，试着写了个简单地爬虫程序抓取百度搜索的结果。然后用Java也写了一个相同功能的爬虫对比了一下，代码如下：

Python代码：

# coding=utf-8
import urllib.request
import urllib
import urllib.parse
from bs4 import BeautifulSoup

def get_html(url):

page = urllib.request.urlopen(url)
req = page.read()
return req

def get_news(html_text, num):

bs = BeautifulSoup(html_text, "html.parser")
body = bs.body
data = body.find('div', {'id': 'content_left'})

for i in range(1, num+1):
result = data.find('div', {'id': str(i)})
a = result.find("a")

print('------------------------------------- ' + str(i) + '------------------------------------- ')
print(a.contents)
print(a.get('href'))
print()

def getresult(num, question):

url = "http://www.baidu.com/s?wd=" + urllib.request.quote(question.encode('utf-8')) + "&rn=" + str(num)
html_doc = get_html(url)
get_news(html_doc, num)

if __name__ == '__main__':

q = "王宝强"
n = 20
getresult(n, q)

Java代码：
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;

public class Spider {

private static String urll = "http://www.baidu.com/s?wd=";

private static void getNews(String url, int num){
try {
Document doc = Jsoup.connect(url).get();
Element element = doc.getElementById("content_left");

for(int i = 1; i < (num + 1); i++){
Element result = element.getElementById(String.valueOf(i));
Elements add = result.select("a");

System.out.println("--------------------- " + i + " ---------------------");
System.out.println(add.first().text());
System.out.println(add.first().attr("href"));
System.out.println();
}
} catch (IOException e) {
e.printStackTrace();
}
}

private static void getResult(int num, String question){

String url = "";
try {
url = urll + URLEncoder.encode(question, "utf-8") + "&rn=" + num;
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}

getNews(url, num);

}

public static void main(String[] args){
getResult(20, "王宝强");
}

}

    后来我偶然用Python的爬虫搜索了下“老虎”，结果打印到第十一条的时候报错了，一脸懵逼，搜王宝强就好好地。后来查看网页源代码发现搜索结果中id为11的标签是“table”。而在python中是按标签“div”找的，所以报错了，大bug啊。但是项目又来了，又得忙了。这个先放着吧。

     总结：python代码写起来就是清爽，刚学的时候由于Java写习惯了，python中有类型转换的问题总是被忽略。python很好用也很简单，以后有时间还要多写写。