是否可以将 Jupyter Notebook 用于 AWS Glue 而不是 Zeppelin
Is it possible to use Jupyter Notebook for AWS Glue instead of Zeppelin
我开始使用 AWS Glue 处理我的数据 ETL。我已将我的数据源提取到我的 AWS 数据目录中,并准备为我用于测试的一个特定 Postgres 数据库中的数据创建一个作业。我在网上看到,在创作自己的作业时,可以使用 Zeppelin 笔记本。我根本没有使用过 Zeppelin,但作为一名 python 开发人员,我大量使用了 Jupyter notebook,并且经常使用它进行数据分析和机器学习自我学习。我一直无法在网上找到它,所以我的问题是 "Is there a way to use Jupyter notebook in place of a Zeppelin notebook when authoring your own AWS Glue jobs?"
我认为这应该是可能的,如果您可以在本地设置一个 Jupyter 笔记本,并启用到 AWS Glue 的 SSH 隧道。我确实看到了一些参考站点,用于设置本地 Jupyter 笔记本、启用 SSH 隧道等,但不是特定于 AWS Glue 的。
截至 2021 年 7 月,Glue 支持两种笔记本
- Sagemaker 笔记本(由 Jupyter 支持)
- Zeppelin 笔记本。
文档link
我开始使用 AWS Glue 处理我的数据 ETL。我已将我的数据源提取到我的 AWS 数据目录中,并准备为我用于测试的一个特定 Postgres 数据库中的数据创建一个作业。我在网上看到,在创作自己的作业时,可以使用 Zeppelin 笔记本。我根本没有使用过 Zeppelin,但作为一名 python 开发人员,我大量使用了 Jupyter notebook,并且经常使用它进行数据分析和机器学习自我学习。我一直无法在网上找到它,所以我的问题是 "Is there a way to use Jupyter notebook in place of a Zeppelin notebook when authoring your own AWS Glue jobs?"
我认为这应该是可能的,如果您可以在本地设置一个 Jupyter 笔记本,并启用到 AWS Glue 的 SSH 隧道。我确实看到了一些参考站点,用于设置本地 Jupyter 笔记本、启用 SSH 隧道等,但不是特定于 AWS Glue 的。
截至 2021 年 7 月,Glue 支持两种笔记本
- Sagemaker 笔记本(由 Jupyter 支持)
- Zeppelin 笔记本。
文档link