使用 R 中的特定条件聚合 nc 文件
Aggregate nc file using specific condition in R
我又需要你的帮助了。
我有 .nc 文件,元数据:
文件 minty.nc (NC_FORMAT_64BIT):
1 variables (excluding dimension variables):
short mn2t[longitude,latitude,time]
scale_factor: 0.000940940342005054
add_offset: 259.294916797895
_FillValue: -32767
missing_value: -32767
units: K
long_name: Minimum temperature at 2 metres since previous post-processing
3 dimensions:
longitude Size:57
units: degrees_east
long_name: longitude
latitude Size:49
units: degrees_north
long_name: latitude
time Size:90240
units: hours since 1900-01-01 00:00:00.0
long_name: time
calendar: gregorian
2 global attributes:
Conventions: CF-1.6
我有一个代码,适用于较小的 .nc 文件:
library(raster)
library(rgdal)
library(ggplot2)
nc_data = nc_open('file.nc')
lon = ncvar_get(nc_data, "longitude")
lat = ncvar_get(nc_data, "latitude", verbose = F)
t = ncvar_get(nc_data, "time")
head(lon)
head(t)
head(lat)
mint.array = ncvar_get(nc_data, "mn2t")
dim(mint.array)
fillvalue = ncatt_get(nc_data, "mn2t", "_FillValue")
fillvalue
mint.array[mint.array == fillvalue$value] <- NA
r_brick <- brick(mint.array, xmn=min(lat), xmx=max(lat), ymn=min(lon), ymx=max(lon), crs=CRS("+proj=longlat +ellps=WGS84 +datum=WGS84 +no_defs+ towgs84=0,0,0"))
r_brick = flip(t(r_brick), direction = 'y')
由于文件太大,我得到一个错误:“无法分配大小为 1.4 Mb 的向量”
我还使用 gc() 清除未使用的内存。它没有帮助。
我不需要 file.nc 中的所有数据。在这种情况下,我需要以某种方式汇总它。对于我的进一步计算,我只需要每日最小值。在这种情况下,对于 df 我使用了:
df(ff) <- aggregate(df, list(rep(1:(nrow(df)%(%n+1), each=24, len=nrow(df))), min)
不幸的是,我发现很难将此代码改编为 .nc 文件。也许有人可以帮助我。提前致谢!
为避免内存问题,您可以这样做:
library(raster)
r_brick <- brick('file.nc', "mn2t")
它也可以防止错误。例如,在您的代码中,这在两个方面是错误的:
xmn=min(lat), xmx=max(lat), ymn=min(lon), ymx=max(lon)
因为 x
应该是 lon
而 y
应该是 lat
并且因为 ncdf 坐标指的是细胞的中心,而 xmn
, xmx
, ymn
, 和 ymx
指的是边框。
您也可以使用现代的等价物
library(terra)
r <- rast('file.nc')
我又需要你的帮助了。 我有 .nc 文件,元数据: 文件 minty.nc (NC_FORMAT_64BIT):
1 variables (excluding dimension variables):
short mn2t[longitude,latitude,time]
scale_factor: 0.000940940342005054
add_offset: 259.294916797895
_FillValue: -32767
missing_value: -32767
units: K
long_name: Minimum temperature at 2 metres since previous post-processing
3 dimensions:
longitude Size:57
units: degrees_east
long_name: longitude
latitude Size:49
units: degrees_north
long_name: latitude
time Size:90240
units: hours since 1900-01-01 00:00:00.0
long_name: time
calendar: gregorian
2 global attributes:
Conventions: CF-1.6
我有一个代码,适用于较小的 .nc 文件:
library(raster)
library(rgdal)
library(ggplot2)
nc_data = nc_open('file.nc')
lon = ncvar_get(nc_data, "longitude")
lat = ncvar_get(nc_data, "latitude", verbose = F)
t = ncvar_get(nc_data, "time")
head(lon)
head(t)
head(lat)
mint.array = ncvar_get(nc_data, "mn2t")
dim(mint.array)
fillvalue = ncatt_get(nc_data, "mn2t", "_FillValue")
fillvalue
mint.array[mint.array == fillvalue$value] <- NA
r_brick <- brick(mint.array, xmn=min(lat), xmx=max(lat), ymn=min(lon), ymx=max(lon), crs=CRS("+proj=longlat +ellps=WGS84 +datum=WGS84 +no_defs+ towgs84=0,0,0"))
r_brick = flip(t(r_brick), direction = 'y')
由于文件太大,我得到一个错误:“无法分配大小为 1.4 Mb 的向量”
我还使用 gc() 清除未使用的内存。它没有帮助。
我不需要 file.nc 中的所有数据。在这种情况下,我需要以某种方式汇总它。对于我的进一步计算,我只需要每日最小值。在这种情况下,对于 df 我使用了:
df(ff) <- aggregate(df, list(rep(1:(nrow(df)%(%n+1), each=24, len=nrow(df))), min)
不幸的是,我发现很难将此代码改编为 .nc 文件。也许有人可以帮助我。提前致谢!
为避免内存问题,您可以这样做:
library(raster)
r_brick <- brick('file.nc', "mn2t")
它也可以防止错误。例如,在您的代码中,这在两个方面是错误的:
xmn=min(lat), xmx=max(lat), ymn=min(lon), ymx=max(lon)
因为 x
应该是 lon
而 y
应该是 lat
并且因为 ncdf 坐标指的是细胞的中心,而 xmn
, xmx
, ymn
, 和 ymx
指的是边框。
您也可以使用现代的等价物
library(terra)
r <- rast('file.nc')