关于Python35爬虫的一些个人想法(我是菜鸟)

最近打算写一个爬虫去爬取招聘网站的招聘信息，在经过一周的Python基本学习后，初步打算使用Python进行爬虫的开发。在初步接触后，本打算使用分布式结构进行爬取作业，但是却在测试过程中，发现一些问题。先贴上我写的测试用例

首先参照了官方文档的例子

Master.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from multiprocessing.managers import BaseManager
import queue
queue = queue.Queue()
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue',callable=lambda : queue)
m = QueueManager(address=('127.0.0.1',50000),authkey=b'abracadabra')
s = m.get_server()
s.serve_forever()

Worker_1.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from multiprocessing.managers import BaseManager
import queue
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
m = QueueManager(address=('127.0.0.1',50000),authkey=b'abracadabra')
m.connect()
queues = m.get_queue()
queues.put('测试')

Worker_2.py

from multiprocessing.managers import BaseManager
import queue
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
m = QueueManager(address=('127.0.0.1',50000),authkey=b'abracadabra')
m.connect()
queue = m.get_queue()
print(queue.get())

最后的结果是在Worker_2.py中可以打印出，Worker_1.py的 “测试” 字符串。

但是这种写法有个明显的问题，在主节点Master.py 中，是阻塞式也就是说运行了

s.serve_forever()

之后，该脚本中的其它程序也就无法正常执行。我理解，该类可以看做一个连接不同进程之间的桥梁。虽然Master.py 中也可以通过以下方法传递值：

from multiprocessing import Process, Queue
from multiprocessing.managers import BaseManager
import queue
class Worker(Process):
def __init__(self, q):
self.q = q
super(Worker, self).__init__()
def run(self):
self.q.put('local hello')

if __name__ == '__main__':
queues = Queue()
w = Worker(queues)
w.start()

myQ = queue.Queue()

class QueueManager(BaseManager): pass
QueueManager.register('get_queue', callable=lambda: queues)
QueueManager.register('get_myQ', callable=lambda: myQ)
m = QueueManager(address=('127.0.0.1', 50000), authkey=b'abracadabra')
s = m.get_server()
s.serve_forever()

但是这样操作，依然不能解决我需要在Master.py进行一些分发操作的需求

所以我只能暂缓使用该种方式，以期待通过后面学习或者博友们提供好方法。

附上一个错误解决方法:



这是因为在子进程中又创建了进程引起，解决方法为在if name==’main’主进程进行创建进程操作