"Insert SparkSession Dataframe" 不存在 - IBM Watson 工作室

"Insert SparkSession Dataframe" doesn't exist - IBM Watson studio

我正在学习 IBM 的在线课程:Advanced Machine Learning course

我想加载一个 .csv 文件,然后将其作为 parquet 格式存储在我的 Watson 项目中的 Cloud Object Storage 中(在这里您可以找到如何访问存储 Object Storage Watson).

该课程的老师正在使用以下方法:add files to Object Storage

基本上,文档展示了如何使用 Insert SparkSession Dataframe 选项自动检索 Object Cloud 凭证和 URL。

我根本找不到这个选项,我尝试了几乎所有的方法,但是点击我导入的 .csv(如文档中所建议的)只给我 pandas Dataframe 选项。

我做错了什么?我仔细地执行了每一步,我尝试了几乎所有可能的可用环境(Free CPU Python 3.6,Apache Spark Python 3.6 ecc ...)没有成功,该选项不会显示在所有。

我解决了这个问题。

您需要创建一个新环境并将 Spark 添加到其中。

然后,一旦你创建了你的笔记本,select这个环境,加载一个虚拟的.json文件,你就可以selectInsert SparkSession Dataframe.