如何将 EMR 集群连接到 EC2 服务器
How to connect EMR Cluster to EC2 server
我使用 spark 来计算并行任务。为了做到这一点，我的项目连接到一个服务器，该服务器生成一些我需要启动我的 spark 作业的数据。
现在我想把我的项目迁移到aws上的云端。
我在 EMR 上安装了我的 spark 应用程序，在 EC2 上安装了我的服务器。如何让我的 EMR spark 应用程序能够在我的 EC2 服务器上使用 http 请求？我需要网关之类的东西吗？
谢谢，
祝你有愉快的一天。
您的 EMR 集群实际运行在 EC2 服务器上。您始终可以通过 ssh 连接到这些服务器。然后你肯定可以从 emr ec2 server
ssh 到另一个 ec2 服务器
根据我的经验，您应该使用 ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem 而不是 ssh -i /path/mykeypair.pem -ND 8157 hadoop@ec2-###-##-##-###-.compute.amazonaws.com。第二条命令无响应
我使用 spark 来计算并行任务。为了做到这一点，我的项目连接到一个服务器，该服务器生成一些我需要启动我的 spark 作业的数据。
现在我想把我的项目迁移到aws上的云端。
我在 EMR 上安装了我的 spark 应用程序，在 EC2 上安装了我的服务器。如何让我的 EMR spark 应用程序能够在我的 EC2 服务器上使用 http 请求？我需要网关之类的东西吗？
谢谢，
祝你有愉快的一天。
您的 EMR 集群实际运行在 EC2 服务器上。您始终可以通过 ssh 连接到这些服务器。然后你肯定可以从 emr ec2 server
ssh 到另一个 ec2 服务器根据我的经验，您应该使用 ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem 而不是 ssh -i /path/mykeypair.pem -ND 8157 hadoop@ec2-###-##-##-###-.compute.amazonaws.com。第二条命令无响应