带有数据块的 Azure 文件系统事件
Azure filesystem events with databricks
我是 Azure databricks 的新手，我需要帮助。我对一切都有些困惑。
Databricks 如何使用 Azure 文件系统事件？什么是 Azure 文件系统事件？ Databricks 可以通过哪种方式检查错过的事件？谢谢你的帮助。
Databricks 有一个名为 Auto Loader 的功能 - 它允许从 ADLS、Azure blob 存储或其他云存储系统上的文件高效地加载数据。虽然 OSS Spark 也支持从云存储加载文件，但它只是通过文件列表来实现的，当目录中有很多文件时，它可能会非常慢。 Auto Loader 还支持通过列出文件来发现数据，并且比标准 Spark 更优化。
但 Auto Loader 的功能要强大得多 new files discovery mode - 通过在云存储级别使用文件通知。在这种情况下，数据摄取过程直接接收新文件的名称，无需列出它们，因此速度更快、效率更高。关于丢失的事件，Auto Loader 也有一个异步回填机制，将检查丢失事件的文件。
我是 Azure databricks 的新手，我需要帮助。我对一切都有些困惑。 Databricks 如何使用 Azure 文件系统事件？什么是 Azure 文件系统事件？ Databricks 可以通过哪种方式检查错过的事件？谢谢你的帮助。
Databricks 有一个名为 Auto Loader 的功能 - 它允许从 ADLS、Azure blob 存储或其他云存储系统上的文件高效地加载数据。虽然 OSS Spark 也支持从云存储加载文件，但它只是通过文件列表来实现的，当目录中有很多文件时，它可能会非常慢。 Auto Loader 还支持通过列出文件来发现数据，并且比标准 Spark 更优化。
但 Auto Loader 的功能要强大得多 new files discovery mode - 通过在云存储级别使用文件通知。在这种情况下，数据摄取过程直接接收新文件的名称，无需列出它们，因此速度更快、效率更高。关于丢失的事件，Auto Loader 也有一个异步回填机制，将检查丢失事件的文件。