config.yml 在 Databricks 上找不到
config.yml not found on Databricks
我有 python 项目查询 SQL 服务器数据库并在 SQL 服务器内进行一些转换。该项目正在使用 config.yml,它具有所有与数据库相关的属性。
现在,我正在尝试将其托管在数据块上,以便我可以 运行 将其作为笔记本。我已将所有 python 文件导入数据块 workspace。但是在执行主 .py 文件时出现以下错误
FileNotFoundError: [Errno 2] No such file or directory: 'config.yml'
因为 Databricks 不允许我将 .yml 文件导入到作品中 space。我该如何处理 运行 这个 python 项目,以便它读取 .yml 文件并正确创建数据库连接。
谢谢!
您可以将.yaml 文件放入DBFS,并指向它。你可以做到 different ways:
- 使用
dbutils.fs.put
(参见 doc)
- 从本地计算机使用 Databricks CLI 的
databricks fs cp
命令 - 您需要在其上安装 databricks-cli
python 包,并配置为使用个人访问令牌(如果它们在您的工作区(参见 doc)
- 通过文件浏览器或直接从笔记本菜单上传文件(参见 doc)
因为您的代码使用“本地”文件,您需要将文件路径指定为 /dbfs/<file-path-on-dbfs
- 在这种情况下,文件将由“正常”读取 Python' .s 文件 API.
我有 python 项目查询 SQL 服务器数据库并在 SQL 服务器内进行一些转换。该项目正在使用 config.yml,它具有所有与数据库相关的属性。
现在,我正在尝试将其托管在数据块上,以便我可以 运行 将其作为笔记本。我已将所有 python 文件导入数据块 workspace。但是在执行主 .py 文件时出现以下错误
FileNotFoundError: [Errno 2] No such file or directory: 'config.yml'
因为 Databricks 不允许我将 .yml 文件导入到作品中 space。我该如何处理 运行 这个 python 项目,以便它读取 .yml 文件并正确创建数据库连接。
谢谢!
您可以将.yaml 文件放入DBFS,并指向它。你可以做到 different ways:
- 使用
dbutils.fs.put
(参见 doc) - 从本地计算机使用 Databricks CLI 的
databricks fs cp
命令 - 您需要在其上安装databricks-cli
python 包,并配置为使用个人访问令牌(如果它们在您的工作区(参见 doc) - 通过文件浏览器或直接从笔记本菜单上传文件(参见 doc)
因为您的代码使用“本地”文件,您需要将文件路径指定为 /dbfs/<file-path-on-dbfs
- 在这种情况下,文件将由“正常”读取 Python' .s 文件 API.