Azure Data Bricks 中的 CSV 摄取错误 - 文件读取错误

Question

我的任务是使用 python 执行 CSV 文件的数据摄取。我正在使用以下代码块并收到 file not found 错误，尽管位置是正确的。

spark.read.format("Filelocation") \
  .option("file.format", "csv") \
  .option("file.schemaLocation", "checkpoint") \
  .load("source_data") \
  .writeStream \
  .option("mergeSchema", "true") \
  .option("My_Checkpoint", "Checkpoint path") \
  .start("target")

我不知道这个错误。感谢任何帮助。

Answer 1

这是我从您的代码块中观察到的一个简单的读取语句错误。

spark.readStream.format("Filelocation")

在第一行使用上面的代码块代替spark.read.format("Filelocation")，其余语句保持原样。

Azure Data Bricks 中的 CSV 摄取错误 - 文件读取错误

CSV ingestion error in Azure Data Bricks - File read error

python

azure-cognitive-services