python学习心得（4）— 并发小米应用商城APK爬取

前言

上一节中python学习心得（3）— 小米应用商店APK爬取介绍了如何进行爬取APK

对应源码为

https://github.com/QyMars/APKSpider/blob/master/XiaomiCrawler.py

并发

单线程的进行下载，效率太低，为了实现并发，使用了Python中的Celery异步任务队列来实现并发

源代码

Github：https://github.com/QyMars/APKSpider/blob/master/XiaomiCrawlerWithCelery.py

添加Celery

app = Celery('XiaomiCrawlerWithCelery', broker='amqp://localhost')

添加并发方法

@app.task
def download(url):

打开RabbitMQ作为消息队列

具体下载和安装请自行百度

启动Celery

具体下载和安装请自行百度

运行程序

运行程序之后，由于我的电脑是4核，所以当前默认的线程数目为4。

开启了4个线程进行下载操作



查看打印信息，可以看到同一时间开启了4个线程执行下载操作

总结

这两个文章主要是熟悉一下Celery框架的实现，想了这么一个点子来实践一下，真正从大量角度而言去爬取的话，完全可以使用Python的scrapy框架来实现。

那下一篇就来使用scrapy框架实现小米应用商店的爬虫吧。