【爬虫工具】下载博客转成Markdown的形式

简单的爬虫工具

下载博客，并转成Markdown的形式

为什么要写这个工具

主要是为了收集好的网上资源，每次看到一篇好的文章就像保存下来，但是保存网页的可读性太差了，如果转换成Markdown的形式就很舒服。但是网页中会有许多无聊的标签干扰，于是写个简单的工具

使用的python库

beautifulsoup4

requests

html2text

目录

csdn.py csdn博客爬虫

jianshu.py 简书博客爬虫

juejin.py 掘金文章爬虫

segmentfault.py segmentfault文章爬虫

使用方法举例

import html2md

url_list = [
'http://blog.csdn.net/qq_37482544/article/details/63720726', # csdn
'https://www.jianshu.com/p/b6220e99df2d', # jianshu
'https://juejin.im/post/5a68437b6fb9a01ca47aabc6', # juejin
'https://segmentfault.com/a/1190000011929414', # segmentfault
'http://www.voidcn.com/article/p-giqfrkhb-bbr.html', # 其他
'https://www.cnblogs.com/zxqstrong/p/4789105.html'
]
for url in url_list:
checkSite(url)

项目地址

https://github.com/No-96/FengTools/tree/master/downloBolg