CKAN 可以处理数千个 500MB-1GB 的大文件吗?
Can CKAN handle thousands of large, 500MB-1GB files?
CKAN 是否能够处理数万个平均每个 50MB 的文件?
如果几百个数据集超过 1GB,有些甚至大到 10GB 怎么办?
这些文件都是 netCDF 格式。因此,据我了解,我不会使用数据存储,因为我不必预览数据。
一个类似的问题是但是一些答案提到了仍在开发中的东西,没有提到GB大小的数据。
如果数据是 CSV 文件(或 Excel table),那么正常情况下 CKAN 的 DataPusher 会将其加载到 CKAN 的 DataStore 中,这将为您提供完整的 SQL 查询 API。如果您的 NetCDF 数据是表格形式的,并且您想为其提供一个 API,那么您可以为该格式向 DataPusher 添加一个导入器。
但是所有文件都可以上传到 CKAN 的 FileStore,它将文件存储在您服务器的磁盘上,您可以使用 nginx 来为它们提供服务。所以 GB 文件很好,仅受磁盘 space 和带宽的限制。或者简单地使用这个 CKAN 扩展将它放在 S3 上:ckanext-s3filestore
最后,许多人使用 CKAN 只是将 link 存储到存储在 Internet 其他地方(例如附属网站)上的文件中,当然您可以 link 到任何大小的文件.
CKAN 是否能够处理数万个平均每个 50MB 的文件?
如果几百个数据集超过 1GB,有些甚至大到 10GB 怎么办?
这些文件都是 netCDF 格式。因此,据我了解,我不会使用数据存储,因为我不必预览数据。
一个类似的问题是
如果数据是 CSV 文件(或 Excel table),那么正常情况下 CKAN 的 DataPusher 会将其加载到 CKAN 的 DataStore 中,这将为您提供完整的 SQL 查询 API。如果您的 NetCDF 数据是表格形式的,并且您想为其提供一个 API,那么您可以为该格式向 DataPusher 添加一个导入器。
但是所有文件都可以上传到 CKAN 的 FileStore,它将文件存储在您服务器的磁盘上,您可以使用 nginx 来为它们提供服务。所以 GB 文件很好,仅受磁盘 space 和带宽的限制。或者简单地使用这个 CKAN 扩展将它放在 S3 上:ckanext-s3filestore
最后,许多人使用 CKAN 只是将 link 存储到存储在 Internet 其他地方(例如附属网站)上的文件中,当然您可以 link 到任何大小的文件.