R语言对Web数据操作实例

许多网站提供数据供其用户使用。 例如，世界卫生组织（who）以csv，txt和xml文件的形式提供健康和医疗信息的报告。 使用r语言程序，我们可以从这些网站以编程方式提取特定数据。 r语言中用于从网站中提取数据的一些包是“rcurl”，xml“和”stringr“，它们用于连接到url，识别文件所需的链接并将它们下载到本地环境。

安装r语言的包

处理url和链接到文件需要以下的包。 如果它们在r语言环境中不可用，您可以使用以下命令安装它们。

install.packages("rcurl")
install.packages("xml")
install.packages("stringr")
install.packages("plyr")

输入数据

我们将访问url，并使用r在2015年下载csv文件。

例

我们将使用函数gethtmllinks()来收集文件的url。 然后我们将使用函数downlaod.file()将文件保存到本地系统。 由于我们将对多个文件一次又一次地应用相同的代码，因此我们将创建一个被多次调用的函数。 文件名作为参数以r列表对象的形式传递到此函数。

# read the url.
url <- "http://www.geos.ed.ac.uk/~weather/jcmb_ws/"

# gather the html links present in the webpage.
links <- gethtmllinks(url)

# identify only the links which point to the jcmb 2015 files. 
filenames <- links[str_detect(links, "jcmb_2015")]

# store the file names as a list.
filenames_list <- as.list(filenames)

# create a function to download the files by passing the url and filename list.
downloadcsv <- function (mainurl,filename) {
   filedetails <- str_c(mainurl,filename)
   download.file(filedetails,filename)
}

# now apply the l_ply function and save the files into the current r working directory.
l_ply(filenames,downloadcsv,mainurl = "http://www.geos.ed.ac.uk/~weather/jcmb_ws/")

验证文件下载

运行上述代码后，您可以在当前r语言工作目录中找到以下文件。

"jcmb_2015.csv" "jcmb_2015_apr.csv" "jcmb_2015_feb.csv" "jcmb_2015_jan.csv"
   "jcmb_2015_mar.csv"

到此这篇关于r语言对web数据操作实例的文章就介绍到这了,更多相关r语言web数据实操内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！