重试 http 请求 RoundTrip

Question

我制作了一个客户端通过 http 访问的服务器。我在客户端的 Transport 的 RoundTripper 方法中设置了重试机制。以下是每个服务器和客户端的工作代码示例：

服务器main.go

package main

import (
    "fmt"
    "net/http"
    "time"
)

func test(w http.ResponseWriter, req *http.Request) {
    time.Sleep(2 * time.Second)
    fmt.Fprintf(w, "hello\n")
}

func main() {
    http.HandleFunc("/test", test)
    http.ListenAndServe(":8090", nil)
}

客户main.go

package main

import (
    "context"
    "fmt"
    "log"
    "net/http"
    "time"
)

type Retry struct {
    nums      int
    transport http.RoundTripper
}

// to retry
func (r *Retry) RoundTrip(req *http.Request) (resp *http.Response, err error) {
    for i := 0; i < r.nums; i++ {
        log.Println("Attempt: ", i+1)
        resp, err = r.transport.RoundTrip(req)
        if resp != nil && err == nil {
            return
        }
        log.Println("Retrying...")
    }
    return
}

func main() {
    r := &Retry{
        nums:      5,
        transport: http.DefaultTransport,
    }

    c := &http.Client{Transport: r}
    // each request will be timeout in 1 second
    ctx, cancel := context.WithTimeout(context.Background(), 1*time.Second)
    defer cancel()
    req, err := http.NewRequestWithContext(ctx, http.MethodGet, "http://localhost:8090/test", nil)
    if err != nil {
        panic(err)
    }
    resp, err := c.Do(req)
    if err != nil {
        panic(err)
    }
    fmt.Println(resp.StatusCode)
}

发生的事情是重试似乎只适用于第一次迭代。对于后续迭代，它不会每次等待一秒钟，而是打印与重试次数一样多的调试消息。

我希望重试每次等待 1 秒，因为我在上下文中设置了 1 秒的超时。但整个重试似乎只等待 1 秒。我想念什么？

此外，如何阻止服务器处理超时请求？，我看到 CloseNotifier 已经弃用。

Answer 1

对于服务器，您可以使用 Request.Context() 检查请求是否被取消。

在客户端中，当上下文在 1 秒后超时时，请求超时。所以上下文不会触发往返周期。如果您希望请求在上下文完成之前重试，您应该更改您正在使用的传输的行为。您现在使用的 http.DefaultTransport 定义如下：

var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    ForceAttemptHTTP2:     true,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

Transport 在此处设置了更多超时变量，因此根据您想要重试的时间，您应该设置适当的超时时间。例如，在您的情况下，您可以将 Transport.ResponseHeaderTimeout 设置为 1 秒。当服务器在 1 秒内没有回复响应头时，客户端将重试。然后，您在 5（或更好的 6）秒后让您的上下文超时，您应该看到客户端重试您指定的次数（5 次）。

Answer 2

问题出在 context。一旦上下文完成，您就不能再重复使用相同的上下文。每次尝试都必须 re-create 上下文。您可以从父上下文中获取超时，并使用它来创建新的上下文。

func (r *retry) RoundTrip(req *http.Request) (resp *http.Response, err error) {
    var (
        duration time.Duration
        ctx      context.Context
        cancel   func()
    )
    if deadline, ok := req.Context().Deadline(); ok {
        duration = time.Until(deadline)
    }
    for i := 0; i < r.nums; i++ {
        if duration > 0 {
            ctx, cancel = context.WithTimeout(context.Background(), duration)
            req = req.WithContext(ctx)
        }
        resp, err = r.rt.RoundTrip(req)
        ...
        // the rest of code
        ...
    }
    return
}

此代码将在每次尝试时使用其父级的超时创建新的上下文。

重试 http 请求 RoundTrip

Retry http request RoundTrip

client

timeout

http

go

server