App Engine for cloud monitoring metrics 在写入大查询时抛出 500 错误

Question

我想将指标从 Cloud Monitoring 导出到 Big Query，google 已经给出了如何执行此操作的解决方案。我正在关注这篇 this 文章。

我已经从 github 下载了代码，我能够成功部署和运行应用程序 (python2.7),

我将总对齐周期指定为 86400 秒（我想从 7 月 1 日开始每天汇总指标） app-engines write-metrics 应用程序引擎之一将指标写入大查询，通过获取 api 响应作为 pub-sub 消息总是抛出这些错误：

> 在为总共 5 个请求提供服务后，超过了 256 MB 和 270 MB 的软内存限制。考虑在 app.yaml.

中设置更大的实例 class

> 在处理此请求时，发现处理此请求的进程使用了太多内存，因此被终止。这很可能会导致对您的应用程序的下一个请求使用新进程。如果您经常看到此消息，则您的应用程序可能存在内存泄漏，或者可能正在使用内存不足的实例。考虑在 app.yaml.

中设置更大的实例 class

以上是 500 错误并且非常频繁，我发现重复记录仍在 BigQuery 的 table 中插入还有下面这个

DeadlineExceededError: The overall deadline for responding to the HTTP request was exceeded.

应用引擎日志经常显示 POST 代码 500 和 200

在 App Engine(standard) 中，我将缩放比例添加为 automatic 并在 app.yaml 中设置如下：

automatic_scaling:
  target_cpu_utilization: 0.65
  min_instances: 5
  max_instances: 25
  min_pending_latency: 30ms
  max_pending_latency: automatic
  max_concurrent_requests: 50

但这好像没有效果。我对 App Engine google-cloud 及其堆栈驱动程序指标非常陌生。

Answer 1

此更改使其生效

instance_class: F4_1G

这需要作为一个独立的标签，之前我犯了错误放在 automatic scaling: 下面所以它给了非法修饰符

App Engine for cloud monitoring metrics 在写入大查询时抛出 500 错误

App Engine for cloud monitoring metrics throwing 500 error when writing to big query

google-app-engine

google-cloud-platform

google-cloud-pubsub

google-cloud-monitoring