如何使用 Databricks 访问 AWS public 数据集？
How to access AWS public dataset using Databricks?
对于我的一个 类，我必须分析一个“大数据”数据集。我在 AWS Registry of Open Data 上发现了以下似乎很有趣的数据集：
https://registry.opendata.aws/openaq/
我究竟该如何创建连接并将此数据集加载到 Databricks 中？我试过以下方法：
df = spark.read.format("text").load("s3://openaq-fetches/")
但是，我收到以下错误：
java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:
另外，这个数据集好像有多个文件夹。如何访问 Databricks 中的特定文件夹，如果可能，我能否专注于特定时间范围？比方说，从 2016 年到 2020 年？
最终，我想执行各种 SQL 查询以分析数据集并可能创建一些可视化效果。提前谢谢你。
如果您 browse the bucket，您会看到那里有多个数据集，格式不同，需要不同的访问方法。所以你需要指向特定的文件夹（可能还有它的子文件夹来加载数据）。例如，要加载 daily 数据集，您需要使用 CSV 格式：
df = spark.read.format("csv").option("inferSchema", "true")\
.option("header", "false").load("s3://openaq-fetches/daily/")
要仅加载数据的子集，您可以使用 path filters, for example. See Spark documentation on loading data。
P.S。从性能的角度来看，inferSchema 不是最佳选择，因此最好在阅读时明确地 provide schema。
对于我的一个 类，我必须分析一个“大数据”数据集。我在 AWS Registry of Open Data 上发现了以下似乎很有趣的数据集：
https://registry.opendata.aws/openaq/
我究竟该如何创建连接并将此数据集加载到 Databricks 中？我试过以下方法：
df = spark.read.format("text").load("s3://openaq-fetches/")
但是，我收到以下错误：
java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:
另外，这个数据集好像有多个文件夹。如何访问 Databricks 中的特定文件夹，如果可能，我能否专注于特定时间范围？比方说，从 2016 年到 2020 年？
最终，我想执行各种 SQL 查询以分析数据集并可能创建一些可视化效果。提前谢谢你。
如果您 browse the bucket，您会看到那里有多个数据集，格式不同，需要不同的访问方法。所以你需要指向特定的文件夹（可能还有它的子文件夹来加载数据）。例如，要加载 daily 数据集，您需要使用 CSV 格式：
df = spark.read.format("csv").option("inferSchema", "true")\
.option("header", "false").load("s3://openaq-fetches/daily/")
要仅加载数据的子集，您可以使用 path filters, for example. See Spark documentation on loading data。
P.S。从性能的角度来看，inferSchema 不是最佳选择，因此最好在阅读时明确地 provide schema。