Databricks 流 "A file referenced in the transaction log cannot be found"

Question

因此，每当我尝试使用流从源中读取时，我都会收到此错误“无法找到事务日志中引用的文件”，它指向一个不存在的文件。

我试过：

• 更改检查点位置
• 更改开始位置
• 运行 "spark._jvm.com.databricks.sql.transaction.tahoe.DeltaLog.clearCache()"

还有什么我可以做的吗？

在此先感谢大家！

Answer 1

所以！我有另一个流 运行 并且它与此流具有相同的父目录。这似乎是一个问题。

第一个流正在查找：.start("/mnt/dev_stream/first_stream") 第二个流正在寻找： .start("/mnt/dev_stream/second_stream")

编辑第二个流以查看 .start("/mnt/new_dev_stream/new_second_stream") 解决了这个问题！