通过rcurl抓取网页数据
2014-05-13 15:44
239 查看
获取数据有多种方式,例如从txt、excel、curl、数据库等,我比较喜欢curl和数据库,先介绍下rcurl
一 下载rcurl包
http://cran.r-project.org/web/packages/RCurl/index.html
二 安装
三 试运行
出错,发现缺少另外一个包,bitops
四 安装bitops
http://cran.r-project.org/web/packages/bitops/index.html
运行
五 安装XML包
从网上看到的实例都需要这个包,怎么 办?安吧
下载地址:http://cran.r-project.org/web/packages/XML/index.html
命令行输入:
傻了,命名可以直接在R下输入install命令的
六 安装了RJSONIO包
使用R内置的install命令安装失败,继续老办法安装后,成功
七 实例
获取豆瓣里冰雪奇缘影片的评分,代码如下:
运行成功
一 下载rcurl包
http://cran.r-project.org/web/packages/RCurl/index.html
二 安装
sudo R CMD INSTALL RCurl_1.95-4.1.tgz
三 试运行
出错,发现缺少另外一个包,bitops
四 安装bitops
http://cran.r-project.org/web/packages/bitops/index.html
运行
sudo R CMD INSTALL bitops_1.0-6.tgz
五 安装XML包
从网上看到的实例都需要这个包,怎么 办?安吧
下载地址:http://cran.r-project.org/web/packages/XML/index.html
命令行输入:
sudo R CMD INSTALL XML_3.98-1.1.tgz
傻了,命名可以直接在R下输入install命令的
六 安装了RJSONIO包
使用R内置的install命令安装失败,继续老办法安装后,成功
七 实例
获取豆瓣里冰雪奇缘影片的评分,代码如下:
library(RCurl) library(XML) library(RJSONIO) movieScoreapi <- function(x) { api <- "https://api.douban.com/v2/movie/search?q={" url <- paste(api, x, "}", sep = "") res <- getURL(url) reslist <- fromJSON(res) name <- reslist$subjects[[1]]$title score <- reslist$subjects[[1]]$rating$average return(list(name = name, score = score)) } movieScoreapi('冰雪奇缘’)
运行成功
相关文章推荐
- 通过jsoup对网页进行数据抓取。
- 网页上通过ajax异步加载的数据有什么办法抓取到吗?
- d语言-下载网页,通过正则抓取对应的数据
- java通过url抓取网页数据
- java通过url抓取网页数据-----正则表达式
- Android自由开发者 通过Jsoup抓取网页数据
- 从网页抓取数据的一般方法
- 如何通过VC的 CHttpFile 抓取网页内容
- php 正则抓取网页的table数据
- python使用threading.Thread和Queue通过urllib2.urlopen抓取数据
- c# 抓取Web网页数据分析
- 转载:PHP的cURL库功能简介:抓取网页,POST数据及其他
- 网页分页数据的三种抓取方式亲测
- 网页分页数据的三种抓取方式亲测
- Java抓取网页上的unicode 数据 "\u5751\u7239\u7889\u5821" 怎么变成中文
- 抓取网页数据 A标签的HREF 值
- python 抓取的网页数据中文以16进制形式显示如“\x54\76”
- 使用R语言和XML包抓取网页数据-Scraping data from web pages in R with XML package
- Android中网页数据的抓取和修改
- PHP的cURL库功能简介:抓取网页,POST数据及其他