python多线程模块--threading三部曲（一）

Threading（一）

当时你还小，手动把一个大文件分成了两个。添了几行代码，简陋的多线程。程序用时少了一半吧，你还笑了。<纪念第一次threading-傻>

注：linux分割文件：

split -l 300(分割行数) large_file new_file （指定分割后行数）

split -b 10m（文件大小） large_file new_file （指定分割后大小）

import threading
import urllib2
import sys
import csv
import re
import datetime

def read_csv(csv_file):
#读取csv文件，提取需要字段拼接成url，存入列表，最后返回一个列表
with open(csv_file,'rb') as f:
# csv.Error: line contains NULL byte，这个bug用下面一行解决的
reader_csv = csv.reader(line.replace('\0','')for line in f)
l_original = []
for item in reader_csv:
#item是包含一个字符串的列表，字段之间用‘#=：’拼接而成的字符串
iitem = item[0].split('#=:')
if len(iitem)>=10:
#拼接url，这里隐藏部分url细节
url = 'http://mp.weixin.??. ='+iitem[7]+'==&mid='+iitem[8]+'&idx='+iitem[-1]+'&sn='+iitem[9]
l_original.append(url)

return l_original

def get_html(csv_file):
#根据url请求网页，用正则提取所需内容
l_out = []
l_urls = read_csv(csv_file)
n=1
for url_wx in l_urls:
print n
n+=1
l_info = []  #此列表用来存储需要存入的字段
biz = url_wx.split('=')[1]
l_info.append(biz) #需要字段1
try:
#获取网页的代码，正则提取所需字段
html = urllib2.urlopen(url_wx).read()
res_name = r'<strong class="profile_nickname">(.*?)</strong>'
info_name = re.findall(res_name,html,re.S|re.M)
if info_name == []:
info_name = ['none']
l_info.append(info_name[0]) #需要字段2
res_value = r'<span class="profile_meta_value">(.*?)</span>'
info_value = re.findall(res_value,html,re.S|re.M)
if info_value ==[]:
info_value = ['none']
l_info.append(info_value[0])  #需要字段3
l_out.append(l_info)  #大列表存储所有需要输出的内容
except:
l_info.append(url_wx)
l_out.append(l_info)
return l_out
def write_csv(csv_file):
#将列表写入输出的csv文件中
l_out = get_html(csv_file)
file_result = open('kol_result_one.csv','w+')
writer = csv.writer(file_result)
for i in l_out:
writer.writerow(i)
def write_csv_2(csv_file):
l_out = get_html(csv_file)
file_result = open('kol_result_two.csv','w+')
writer = csv.writer(file_result)
for i in l_out:
writer.writerow(i)
#创建了两个线程
threads = []
t1 = threading.Thread(target=write_csv,args=(sys.argv[1],))
threads.append(t1)
t2 = threading.Thread(target=write_csv_2,args=(sys.argv[2],))
threads.append(t2)

def main():

starttime = datetime.datetime.now()
#write_csv(csv_file=sys.argv[1])
#write_csv_2(csv_file=sys.argv[2])
for t in threads:
#t.setDaemon(True)
t.start()
endtime = datetime.datetime.now()
#打印程序用时
print (endtime-starttime).seconds

if __name__ == '__main__':
main()

进化后的代码，随后跟进.