爬虫第一章笔记

本文代码为学习后自己加了很多注释

主要供自己以后查阅

感谢原作者的教学贴

# -*- coding: utf-8 -*-
import urllib
import sgmllib
"""
beautifulsoup的相关包导入
"""
from bs4 import BeautifulSoup
import re

"""
导入url解析包
"""
import urlparse
"""
自定义一个类继承sgmllib的SGMParser类
复写SGMLParser的方法，
注意：unknown_html()方法名不能修改，好像是SGM内的方法
通过自定义类对象的feed（data）方法将解析数据传入
"""

class handle_html_01(sgmllib.SGMLParser):
def unknown_starttag(self,tag,attrs):
print "------"+tag+" start------"
print attrs
def unknown_endtag(self,tag):
print "------"+tag+" end------"
"""
对对象进行删选
"""
class handle_html_02(sgmllib.SGMLParser):
def unknown_starttag(self,tag,attrs):
try:
for attr in attrs:
if attr[0]=='href':
print attr[1].encode('utf-8')
except:
pass
def unknown_endtag(self,tag):
pass

"""
beautifulsoup并不只是简单的解析html文档，实际上里面大有玄机：
五种解析器自动选择或者手动指定，每个解析器的偏重方向都不一样，有的偏重速度，有的偏重正确率。
自动识别html文档的编码，并且给出非常完美的解决方案，支持css筛选，各种参数的方便使用。
相关包
from bs4 import BeautifulSoup
import urllib
import re

关于正则表达式：
＾：匹配开头
?：好像是匹配任意字符(还没有验证),应该是https
"""
def test_bs():
web=urllib.urlopen("http://www.baidu.com")
soup=BeautifulSoup(web.read())
tags_a=soup.findAll(name="a",attrs={'href':re.compile("^http?://")})
for tag_a in tags_a:
print tag_a["href"]

"""
测试所用方法
"""
def test_01():
web=urllib.urlopen("http://www.baidu.com")
#创建handle_html对象
web_handler=handle_html_02()
#传输数据到解析器
web_handler.feed(web.read())
"""
测试url的合法性
首先导入urlParse包
查看结果scheme 为http就是链接
根据结果分析
o[0]就是scheme
o[1]就是netloc
一次类推
其实分析就是 冒号前是scheme
双斜杠是 netloc
单斜杠后是 path
然后问号后是参数井号后不清楚
总之有分析过程
"""
def test_urlparse():
url = set()
url.add('javascript:void.com')
url.add('http://freebuf.com/geek')
url.add('https://freebuf.com:443/geek?username=1#sid')
url.add('ftp://freeme.com/ss/s/s')
url.add('sssfadea://ssss.ss')
url.add('//freebuf.com/s/s/s')
url.add('/freebuf.com/s/s/s/')
url.add('//freebuf.com/s/s/s/')
url.add('path/me')
url.add('path?ss=1')
url.add('path?ss=1&s=1')
url.add('path?ss=1#arch')
url.add('?ss=1')
url.add('#arch')
for item in url:
print item
o= urlparse.urlparse(item)
print o
#test_01()
#test_bs()
test_urlparse()