python爬虫获取数据后存入MySQL数据库中
2018-01-21 21:31
621 查看
from urllib.request import urlopen import re import numpy import time import pymysql from bs4 import BeautifulSoup def getHtmlContent(url): html = urlopen(url) bsobj = BeautifulSoup(html,"lxml",from_encoding = "gb18030") tablelist = bsobj.findAll("tr") #用户名:root 密码:123456 数据库名:aqi-changsha db = pymysql.connect("localhost","root","123456","aqi-changsha",charset="utf8") cursor = db.cursor() date = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))#获取当前时间 date1 = ("insert into date values (%s)") try: cursor.execute(date1,date) db.commit(); #提交操作 except: db.rollback(); for datalist in tablelist[1:]: data = datalist.get_text().replace(" ","").replace("\r\n","").strip("\n").split("\n") data.append(date) data.append("0") try: insert_data = ("insert into aqi values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)") cursor.execute(insert_data,data) db.commit(); except: db.rollback() db.close() def main(): url = "http://www.tianqihoubao.com/aqi/changsha.html" getHtmlContent(url) if __name__ == "__main__": main()
相关文章推荐
- 【原创】python爬虫获取网站数据并存入本地数据库
- Python3实现的爬虫爬取数据并存入mysql数据库操作示例
- python 爬虫获取json数据存入文件时乱码
- Python 爬虫 PhantomJs 获取JS动态数据
- 复杂的网页爬虫,python获取网页指的格式数据
- selenium自动化测试工具开发python爬虫-动态加载页面数据获取
- Python 网络爬虫5 ---- 第一次实现抓取数据并且存放到mysql数据库中
- Python爬虫:获取链家,搜房,大众点评的数据
- python6--将豆瓣评分数据存入mysql数据库
- 【python爬虫】爬取网贷之家所有P2P平台基本数据并写入MYsql数据库
- Python爬虫-利用百度地图API接口爬取数据并保存至MySQL数据库
- python爬虫插入MySQL数据库前去除重复数据的几种方法
- 【爬虫】Python2爬虫代码之获取金融品种行情数据
- 把iphonebenchmark获取的数据存入MySQL数据库
- python爬虫之爬取CQU毕业设计网批量获取数据
- scrapy爬虫数据存入mysql数据库
- WSWP(用python写爬虫)笔记二:实现链接获取和数据存储爬虫
- Python 爬虫 PhantomJs 获取JS动态数据
- Python爬虫系列(七)豆瓣图书排行榜(数据存入到数据库)
- python3实战scrapy获取数据保存至MySQL数据库