如何使用 databricks-connect 在本地执行 Spark 代码？

Question

有没有办法在本地使用 databricks-connect 执行 Spark 代码？

原因是我想在 CI/CD 管道中执行一些测试，而不需要启动集群和 运行.

Answer 1

不，databricks-connect 需要 运行ning 集群。 如果您不使用任何数据块特定代码（如 dbutils），您可以 运行 在本地启动并针对它执行 - 假设您仍然可以访问所需的数据源。