创新实训5.18 导入数据库题目,下一步爬虫获取Status构思
2017-05-19 20:10
190 查看
1.将爬取的题目导入数据库。
2.对于获取Status有了简单的构思:获取Status时指定使用的帐号和OJ地址,然后获取该OJ下该帐号的提交状态,再将该指定帐号映射到VJ的用户帐号下,更新数据库中对应的用户提交项的状态。其中使用Celery借助生产者-消费者模型来对用户代码的提交进行处理,以防止千百次提交炸了VJ。
然后。。因为Celery只能在Linux下运行,所以有去配置Ubuntu下的开发环境,然后。。看了错误的教程,我的Ubuntu打出了GG(百度知道里某SB说sudo apt-get remove python(哈哈,双系统又变成了一个Win10系统(MMP
最后嘞?装了个Ubuntu虚拟机,又把什么Django、Scrapy、Lxml乱七八糟的什么包,反正运行说缺啥就装啥的配好了环境。
2.对于获取Status有了简单的构思:获取Status时指定使用的帐号和OJ地址,然后获取该OJ下该帐号的提交状态,再将该指定帐号映射到VJ的用户帐号下,更新数据库中对应的用户提交项的状态。其中使用Celery借助生产者-消费者模型来对用户代码的提交进行处理,以防止千百次提交炸了VJ。
然后。。因为Celery只能在Linux下运行,所以有去配置Ubuntu下的开发环境,然后。。看了错误的教程,我的Ubuntu打出了GG(百度知道里某SB说sudo apt-get remove python(哈哈,双系统又变成了一个Win10系统(MMP
最后嘞?装了个Ubuntu虚拟机,又把什么Django、Scrapy、Lxml乱七八糟的什么包,反正运行说缺啥就装啥的配好了环境。
相关文章推荐
- VBA的力量 快速获取多个表格中的数据后导入到数据库(图文)
- 获取剪切板中的内容 往数据库中导入数据命令 MD5 执行批处理
- 利用pymysql爬虫后导入数据库
- 自己写网页爬虫——网页分类抓取/采集并导入数据库
- 获取shapefile并将其导入数据库的方法
- 项目实训涉及的获取数据库数据,导出生成Excel表格(使用Nutz框架)
- php 爬虫的简单实现, 获取整个页面, 再把页面的数据导入本地的文件当中
- Android导入外部数据库解析json获取天气预报
- Python爬虫项目,获取所有网站上的新闻,并保存到数据库中,解析html网页等(未完待续)
- poi 获取excel数据 导入数据库
- 关于Python爬虫之获取海量表情包+存入数据库+搭建网站通过关键字查询表情包
- 一次性导入文件夹下想获取的数据到数据库
- VBA的力量 快速获取多个表格中的数据后导入到数据库(图文)
- 创新实训5.11 Python爬虫学习
- (3)php爬虫---mysql大批数据导入数据库-4种方法比较
- sqlldr从服务器上获取txt文件数据导入到数据库
- Python于allitebooks.com爬虫书籍名称导入数据库
- 基于tushare获取股票历史行情数据包括后复权和未复权的_导入数据库
- logstash 从数据库获取数据到将数据导入到es步骤
- Android导入外部数据库解析json获取天气预报