玩！框架：限制通过 WS 进行的并发非阻塞 IO 调用

Question

我一直在使用Play!Framework 的WS 进行网络调用。假设我在范围内的自定义 ExecutionContext 中有 5 个线程。如果我要推送阻塞网络调用，最多可以处理 5 个并行请求，因此我可以明确地限制一次完成的网络调用量。

使用WS时，情况并非如此。它将进行超过 5 个线程的网络调用，因为它不会阻塞发出 WS 请求的自定义池。我观察到的是，我可以根据需要发出尽可能多的请求，并最终压倒 OS 资源。示例代码可以在下面找到。嵌套调用总共进行 100 * 100 = 10000 次调用。 我的问题是，有没有办法限制 WS（非阻塞 IO）并行调用的数量？我能想到的唯一方法是在请求到达之前进行负载平衡服务器。谢谢！

val cols = (1 to 100).map { col =>
  ws.url(s"http://get-resource/${col}").get().flatMap { futureColResp =>
    val outerCol = futureColResp.json

   val rowFutures = (1 to 100).map { row =>
      ws.url(s"http://get-resource/${row}").get().map { futureRowResp =>
        val innerRow = futureRowResp.json
        doSomething(outerCol, innerRow)
      }
   }
    Future.sequence(rowFutures)
  }
}
Future.sequence(cols)

Answer 1

在play的配置中，您可以进行如下设置：play.ws.ahc.maxConnectionsTotal

此处描述：https://www.playframework.com/documentation/2.5.x/ScalaWS#configuring-asynchttpclientconfig

一旦并发传出连接数超过定义值，Play 应用程序将不会创建到目标的新连接并抛出以下异常：play.shaded.ahc.org.asynchttpclient.exception.TooManyConnectionsException: Too many connections: 5

在这种情况下，更好的行为可能是减少并行性以避免运行资源不足，或者尽可能减少对同一服务器的请求数量（可以批处理吗？）。

玩！框架：限制通过 WS 进行的并发非阻塞 IO 调用

Play! Framework: Limit concurrent non-blocking IO calls made via WS

multithreading

scala

nonblocking

playframework