从网站文件夹下载多个JSON文件。

我想从这里下载所有带 “树 “字的文件。联系.

我知道如何单独下载它们,但我不知道如何根据该条件(有 “树 “字)一次下载所有的文件。

解决方案:

这可能会很慢(见注释)。

 library(dplyr)
library(rvest)
my_table<-read_html("https://www1.ncdc.noaa.gov/pub/data/metadata/published/paleo/json/")
my_table %>% 
  html_nodes(css="table") %>% 
  html_table() -> res
json_names<-res[[1]][,2]
json_names %>% 
  as_tibble() %>% 
  slice(3:nrow(.)) %>% 
  filter(grepl("tree",value)) %>% 
  pull(value) %>% 
  lapply(.,function(x) paste0("https://www1.ncdc.noaa.gov/pub/data/metadata/published/paleo/json/",
                                                x)) %>% 
  unlist() -> url_list

样本结果。

 lapply(url_list[1:2],jsonlite::fromJSON)
[[1]]
[[1]]$xmlId
[1] "4355"

[[1]]$NOAAStudyId
[1] "2657"

[[1]]$studyName
[1] "Adams - Fernow Experimental Forest - QUPR - ITRDB WV003"

[[1]]$doi
[1] "https://doi.org/10.25921/jzj2-vy39"

:

在*nix机器上,我会使用 wget 而不是。

给TA打赏
共{{data.count}}人
人已打赏
未分类

如何使用单个Elastic搜索查询进行重复数据删除和执行聚合?

2022-9-9 5:19:20

未分类

LinkedList中的返回null基本上就是返回null

2022-9-9 5:19:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索