监控子网带宽
Monitor subnet bandwidth
我在一个 EMR（Spark 集群）中有一个批处理作业，它批量插入到另一个 EMR（HBase 集群）中。两个 EMR 都位于同一个私有子网中。
如何监控两个 EMR 之间的带宽？据我所知，他们没有使用 NAT Gateay，对吧？如果在同一子网内发生一些其他工作人员，我能否仅拥有 EMR 到 EMR 数据传输的指标？假设另一个 Spark 作业执行大量改组。
P.S。 AWS 在同一 AZ 内的 EC2 实例之间为您提供 ~ 10 gygabits/sec 带宽是真的吗？此带宽是否在同一子网内的所有实例之间共享？
首先，没有办法监控子网的流量，网络统计信息，如传出或传入的字节数（以及数据包）在每个实例级别的 cloudwatch 中发布。
如果您需要在集群级别，您可以根据其集群类型对实例进行逻辑分组并聚合相应的指标，并为每个集群提供自定义统计信息，开箱即用。*
是的，同一 VPC 中具有私有 IP 的实例不需要 NAT 即可在它们之间进行通信。
网络带宽取决于实例类型，较新的类型如 c5 声称具有 100 Gbps 的速度，对于像 EMR 这样的 IO 繁重的工作，建议使用具有高网络带宽的实例。
(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking.html)
我在一个 EMR（Spark 集群）中有一个批处理作业，它批量插入到另一个 EMR（HBase 集群）中。两个 EMR 都位于同一个私有子网中。
如何监控两个 EMR 之间的带宽？据我所知，他们没有使用 NAT Gateay，对吧？如果在同一子网内发生一些其他工作人员，我能否仅拥有 EMR 到 EMR 数据传输的指标？假设另一个 Spark 作业执行大量改组。
P.S。 AWS 在同一 AZ 内的 EC2 实例之间为您提供 ~ 10 gygabits/sec 带宽是真的吗？此带宽是否在同一子网内的所有实例之间共享？
首先，没有办法监控子网的流量，网络统计信息，如传出或传入的字节数（以及数据包）在每个实例级别的 cloudwatch 中发布。
如果您需要在集群级别，您可以根据其集群类型对实例进行逻辑分组并聚合相应的指标，并为每个集群提供自定义统计信息，开箱即用。*
是的，同一 VPC 中具有私有 IP 的实例不需要 NAT 即可在它们之间进行通信。
网络带宽取决于实例类型，较新的类型如 c5 声称具有 100 Gbps 的速度，对于像 EMR 这样的 IO 繁重的工作，建议使用具有高网络带宽的实例。
(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking.html)