【工作记录】爬虫

因为工作需要，有时候需要自己看邮箱里得内容。

代码如下：可以先拿去跑一跑，注意密码是ssl验证码

# -*- coding: utf-8 -*-

import poplib
import email
from email.parser import Parser
from email.header import decode_header
from email.utils import parseaddr
#解析邮件
def guess_charset(msg):
charset = msg.get_charset()
if charset is None:
content_type = msg.get('Content-Type', '').lower()
pos = content_type.find('charset=')
if pos >= 0:
charset = content_type[pos + 8:].strip()
return charset

def decode_str(s):
value, charset = decode_header(s)[0]
if charset:
value = value.decode(charset)
return value
#定义输出的格式
def print_info(msg, indent=0):
if indent == 0:
for header in ['From', 'To', 'Subject']:
value = msg.get(header, '')
if value:
if header=='Subject':
value = decode_str(value)
else:
hdr, addr = parseaddr(value)
name = decode_str(hdr)
value = u'%s <%s>' % (name, addr)
print('%s%s: %s' % ('  ' * indent, header, value))
if (msg.is_multipart()):
parts = msg.get_payload()
for n, part in enumerate(parts):
print('%spart %s' % ('  ' * indent, n))
print('%s--------------------' % ('  ' * indent))
print_info(part, indent + 1)
else:
content_type = msg.get_content_type()
if content_type=='text/plain' or content_type=='text/html':
content = msg.get_payload(decode=True)
charset = guess_charset(msg)
if charset:
content = content.decode(charset)
print('%sText: %s' % ('  ' * indent, content + '...'))
else:
print('%sAttachment: %s' % ('  ' * indent, content_type))

email = raw_input('Email: ')
password = raw_input('Password: ')
pop3_server = raw_input('POP3 server: ')

server = poplib.POP3_SSL(pop3_server)
server.set_debuglevel(1)
print(server.getwelcome())
# 认证:
server.user(email)
server.pass_(password)
print('Messages: %s. Size: %s' % server.stat())
#新建文件，保存邮件。但是这是没有解析的文件格式
myfile = file("testit.txt", 'w')
resp, mails, octets = server.list()
# 获取最新一封邮件, 注意索引号从1开始:
for i in range(1,len(mails)):
resp, lines, octets = server.retr(i)
# 解析邮件:
msg = Parser().parsestr('\r\n'.join(lines))
# 打印邮件内容到控制台:
print_info(msg)
#打印到文件夹，但是格式没有解析
print >> myfile,msg

# 慎重:将直接从服务器删除邮件:
# server.dele(len(mails))
# 关闭连接:
myfile.close()
#关闭文件
server.quit()

email：账号

password：授权码

pop3-server：（如）pop3.qq.com

用Python的poplib模块收取邮件分两步：第一步是用POP3协议把邮件获取到本地，第二步是用email模块把原始邮件解析为Message对象，然后，用适当的形式把邮件内容展示给用户即可。

————————-8/16日补充

java正则抓取网页上的邮箱

import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.InputStreamReader;
import java.io.Writer;
import java.net.URL;
import java.net.URLConnection;
import java.sql.Time;
import java.util.Scanner;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class wangye {
public static void main(String[] args) throws Exception {// 本程序内部异常过多为了简便，不一Try，直接抛给虚拟机
Long StartTime = System.currentTimeMillis();
System.out.println("--请输入正确的网址如http：//www.baidu.com--");
Scanner input = new Scanner(System.in);// 实例化键盘输入类

String webaddress = input.next();// 创建输入对象
File file = new File("D:" + File.separator + "test.txt");// 实例化文件类对象

// 并指明输出地址和输出文件名

Writer outWriter = new FileWriter(file);// 实例化outWriter类

URL url = new URL(webaddress);// 实例化URL类。

URLConnection conn = url.openConnection();// 取得链接

BufferedReader buff = new BufferedReader(new InputStreamReader(

conn.getInputStream()));// 取得网页数据

String line = null;
int i=0;
String regex = "\\w+@\\w+(\\.\\w+)+";// 声明正则，提取网页前提

Pattern p = Pattern.compile(regex);// 为patttern实例化

outWriter.write("该网页中所包含的的邮箱如下所示:\r\n");
while ((line = buff.readLine()) != null) {

Matcher m = p.matcher(line);// 进行匹配

while (m.find()) {
i++;
outWriter.write(m.group() + ";\r\n");// 将匹配的字符输入到目标文件
}
}
Long StopTime = System.currentTimeMillis();
String UseTime=(StopTime-StartTime)+"";
outWriter.write("--------------------------------------------------------\r\n");
outWriter.write("本次爬取页面地址："+webaddress+"\r\n");
outWriter.write("爬取用时："+UseTime+"毫秒\r\n");
outWriter.write("本次共得到邮箱："+i+"条\r\n");
outWriter.write("****谢谢您的使用****\r\n");
outWriter.write("--------------------------------------------------------");
outWriter.close();// 关闭文件输出操作
System.out.println(" —————————————————————\t");
System.out.println("|页面爬取成功，请到D盘根目录下查看test文档|\t");
System.out.println("|                                         |");
System.out.println("|如需重新爬取，请再次执行程序,谢谢您的使用|\t");
System.out.println(" —————————————————————\t");
}
}

在新建一个调用的类pawenjian打印输出结果

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class pawenjian {
public static void main(String[] args)throws Exception {
BufferedReader buff=new BufferedReader(new FileReader("D:"+File.separator+"test.txt"));

String line=null;
String regex="\\w+@\\w+(\\.\\w+)+";
Pattern p=Pattern.compile(regex);
while ((line=buff.readLine())!= null) {
Matcher m=p.matcher(line);
while (m.find()) {
System.out.println(m.group()+";");

}
}
}
}

结果如下：

该网页中所包含的的邮箱如下所示:
--------------------------------------------------------
本次爬取页面地址：http://tieba.baidu.com/p/3908710053
爬取用时：4024毫秒
本次共得到邮箱：0条
****谢谢您的使用****
--------------------------------------------------------