AWS Glue 和跨区域访问
AWS Glue and Cross Region Access
我有几个关于 AWS Glue 的问题,希望有人能为我解答。
所以场景是我们在 us-east-1 区域设置了一个 AWS 账户,我们使用 AWS EMR 和 Glue 作为 hive metastore(通过 emr 配置)。在过去一年左右的时间里,这一直运行良好,没有任何问题,Glue Catalog 有一堆数据库和一堆表。现在我们要做的是将我们的整个项目迁移到另一个区域(相同的帐户,不同的区域,例如 us-west-1)。所以我把其他所有东西都移了过来,ec2 实例、sg 等等。问题是我没有在 us-west-1 中看到来自 us-east-1 胶水元存储的表。现在回答我的问题。
1.) AWS Glue 目录是否特定于区域?意思是,如果我在一个区域中创建一个 db/table in glue,它会留在那个区域还是我可以做些什么来跨所有区域访问它?通过控制台和编程方式。
2.) 如果能够跨区域共享单个粘合元存储,这如何与 EMR 一起使用,我是否必须在 EMR 配置页面中指定区域属性以及其他粘合设置?
3.)如果#2可行,跨区域访问glue目录是否收费(跨区域访问)
3.) 否则如果#2 不可能,我是否必须手动从一个区域复制 db/tables 并将它们导入另一个区域的粘合数据目录?这是执行此操作的正确方法吗?
仅供以后看到此内容的任何人使用。我最终使用我编写的 java 程序移动了表,该程序使用 AWS Java Glue API 从一个区域读取表并在另一个区域创建它们。然后相同的代码从原始区域中删除表。真的没有看到任何其他方式。我们有大约 1000 多个表要移动,因此手动复制它们并不是一个真正的选择。
我有几个关于 AWS Glue 的问题,希望有人能为我解答。
所以场景是我们在 us-east-1 区域设置了一个 AWS 账户,我们使用 AWS EMR 和 Glue 作为 hive metastore(通过 emr 配置)。在过去一年左右的时间里,这一直运行良好,没有任何问题,Glue Catalog 有一堆数据库和一堆表。现在我们要做的是将我们的整个项目迁移到另一个区域(相同的帐户,不同的区域,例如 us-west-1)。所以我把其他所有东西都移了过来,ec2 实例、sg 等等。问题是我没有在 us-west-1 中看到来自 us-east-1 胶水元存储的表。现在回答我的问题。
1.) AWS Glue 目录是否特定于区域?意思是,如果我在一个区域中创建一个 db/table in glue,它会留在那个区域还是我可以做些什么来跨所有区域访问它?通过控制台和编程方式。
2.) 如果能够跨区域共享单个粘合元存储,这如何与 EMR 一起使用,我是否必须在 EMR 配置页面中指定区域属性以及其他粘合设置?
3.)如果#2可行,跨区域访问glue目录是否收费(跨区域访问)
3.) 否则如果#2 不可能,我是否必须手动从一个区域复制 db/tables 并将它们导入另一个区域的粘合数据目录?这是执行此操作的正确方法吗?
仅供以后看到此内容的任何人使用。我最终使用我编写的 java 程序移动了表,该程序使用 AWS Java Glue API 从一个区域读取表并在另一个区域创建它们。然后相同的代码从原始区域中删除表。真的没有看到任何其他方式。我们有大约 1000 多个表要移动,因此手动复制它们并不是一个真正的选择。