AWS Glue 3.0 容器不适用于 Jupyter 笔记本本地开发

Question

我正在 AWS 中使用 Glue，并尝试在本地开发人员中进行测试和调试。我按照此处 https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/ 的说明在本地开发 Glue 作业。在那个 post 上，他们使用 Glue 1.0 图像进行测试，它可以正常工作。但是，当我加载并尝试通过 Glue 3.0 版本进行开发时；我按照指导步骤操作，但是，我无法在 :8888 上打开 Jupyter notebook，就像 post 所说的那样，即使每一步似乎都是正确的。

这里是我的命令，用于在 Glue 3.0 容器上启动 Jupyter notebook

docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh

http://localhost:8888 上没有任何显示。

仍然不知道为什么！我理解差异。 Glues 的不同版本之间只是想开发和测试它的最新版本。有人有同样的问题吗？谢谢

Answer 1

看来 GLUE 3.0 图像与 SSL 有一些问题。在本地工作的解决方法是禁用 SSL（您还必须更改脚本路径，因为文档未更新）。

$ docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" \
    -e AWS_ACCESS_KEY_ID=$(aws --profile default configure get aws_access_key_id) \ 
    -e AWS_SECRET_ACCESS_KEY=$(aws --profile default configure get aws_secret_access_key) \ 
    -e AWS_DEFAULT_REGION=$(aws --profile default configure get region) \
    --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \ 
    /home/glue_user/jupyter/jupyter_start.sh

几秒钟后，您应该在 http://127.0.0.1:8888

上有一个工作的 jupyter notebook 实例运行

AWS Glue 3.0 容器不适用于 Jupyter 笔记本本地开发

AWS Glue 3.0 container not working for Jupyter notebook local development

amazon-web-services

jupyter-notebook

aws-glue