是否可以流式传输 AWS cloudwatch 日志
Is it possible to stream AWS cloudwatch logs
我知道可以将 CloudWatch Logs 数据流式传输到 Amazon Elasticsearch Service。已记录 here,但是否可以将日志数据流式传输到自定义 AWS Glue 作业或 EMR 作业?
CloudWatch Logs (CWL) 流式传输到 ElasticSearch (ES) 的工作方式是 AWS 为您创建一个 lambda 函数。所以 CWLs 会先流到 lambda,然后 lambda 将日志事件上传到 ES。
对于 Glue,您不需要 lambda 函数,因为 glue 可以从运动流中获取其流数据。所以你必须设置 CWL subscription to kinesis 流。该流将用作流式 Glue 作业中的源。
对于 EMR,您也可以使用与 Glue 相同的方式将日志事件从 CWL 流式传输到运动。但是要读取 EMR 中的流数据,您可能必须使用 EMR Input Connector for Kinesis.
我知道可以将 CloudWatch Logs 数据流式传输到 Amazon Elasticsearch Service。已记录 here,但是否可以将日志数据流式传输到自定义 AWS Glue 作业或 EMR 作业?
CloudWatch Logs (CWL) 流式传输到 ElasticSearch (ES) 的工作方式是 AWS 为您创建一个 lambda 函数。所以 CWLs 会先流到 lambda,然后 lambda 将日志事件上传到 ES。
对于 Glue,您不需要 lambda 函数,因为 glue 可以从运动流中获取其流数据。所以你必须设置 CWL subscription to kinesis 流。该流将用作流式 Glue 作业中的源。
对于 EMR,您也可以使用与 Glue 相同的方式将日志事件从 CWL 流式传输到运动。但是要读取 EMR 中的流数据,您可能必须使用 EMR Input Connector for Kinesis.