golang - bufio 读取多行直到 (CRLF) \r\n 定界符

Question

我正在尝试实现我自己的 beanstalkd 客户端作为学习围棋的一种方式。 https://github.com/kr/beanstalkd/blob/master/doc/protocol.txt

目前，我正在使用 bufio 读取由 \n 分隔的一行数据。

res, err := this.reader.ReadLine('\n')

当我发送单个命令并读取单行响应时，这很好：INSERTED %d\r\n 但是当我尝试保留作业时我发现困难，因为作业主体可能是多行并且作为这样，我就不能使用 \n 分隔符。

有没有办法在 CRLF 之前读入缓冲区？

例如当我发送 reserve 命令时。我的预期回复如下：

RESERVED <id> <bytes>\r\n
<data>\r\n

但是数据可能包含\n，所以我需要读到\r\n。

或者 - 是否有一种方法可以读取上面示例响应中 <bytes> 中指定的特定字节数？

目前，我有（删除错误处理）：

func (this *Bean) receiveLine() (string, error) {
    res, err := this.reader.ReadString('\n')
    return res, err
}

func (this *Bean) receiveBody(numBytesToRead int) ([]byte, error) {
    res, err := this.reader.ReadString('\r\n') // What to do here to read to CRLF / up to number of expected bytes?

    return res, err
}

func (this *Bean) Reserve() (*Job, error) {

    this.send("reserve\r\n")
    res, err := this.receiveLine()

    var jobId uint64
    var bodylen int
    _, err = fmt.Sscanf(res, "RESERVED %d %d\r\n", &jobId, &bodylen)

    body, err := this.receiveBody(bodylen)

    job := new(Job)
    job.Id = jobId
    job.Body = body

    return job, nil
}

Answer 1

res, err := this.reader.Read('\n')

对我来说没有任何意义。您是说 ReadBytes/ReadSlice/ReadString 吗？

你需要bufio.Scanner.

定义您的 bufio.SplitFunc（示例是 bufio.ScanLines 的副本，并进行了修改以查找“\r\n”）。修改它以符合您的情况。

// dropCR drops a terminal \r from the data.
func dropCR(data []byte) []byte {
    if len(data) > 0 && data[len(data)-1] == '\r' {
        return data[0 : len(data)-1]
    }
    return data
}


func ScanCRLF(data []byte, atEOF bool) (advance int, token []byte, err error) {
        if atEOF && len(data) == 0 {
            return 0, nil, nil
        }
        if i := bytes.Index(data, []byte{'\r','\n'}); i >= 0 {
            // We have a full newline-terminated line.
            return i + 2, dropCR(data[0:i]), nil
        }
        // If we're at EOF, we have a final, non-terminated line. Return it.
        if atEOF {
            return len(data), dropCR(data), nil
        }
        // Request more data.
        return 0, nil, nil
    }

现在，用您的自定义扫描仪包裹您的 io.Reader。

scanner := bufio.NewScanner(this.reader)
scanner.Split(ScanCRLF)
// Set the split function for the scanning operation.
scanner.Split(split)
// Validate the input
for scanner.Scan() {
        fmt.Printf("%s\n", scanner.Text())
}

if err := scanner.Err(); err != nil {
        fmt.Printf("Invalid input: %s", err)
}

阅读 bufio package's 扫描器源代码。

Alternatively - is there a way of reading a specific number of bytes as specified in in example response above?

首先你需要阅读 "RESERVED \r\n" 行的一些方法。

然后你可以使用

nr_of_bytes : = read_number_of_butes_somehow(this.reader)
buf : = make([]byte, nr_of_bytes)
this.reader.Read(buf)

或LimitedReader.

但我不喜欢这种方法。

Thanks for this - reader.Read('\n') was a typo - I corrected question. I have also attached example code of where I have got so far. As you can see, I can get the number of expected bytes of the body. Could you elaborate on why you don't like the idea of reading a specific number of bytes? This seems most logical?

我想看看 Bean 的定义，尤其是 reader 的部分。想象一下，这个计数器不知何故是错误的。

简而言之：您需要找到以下“\r\n”并丢弃到此为止的所有内容？或不？那你为什么首先需要计数器？
它比它应该的更大（或者更糟的是它巨大！）。

2.1 reader 中没有下一条消息：很好，读取时间比预期的要短，但没问题。

2.2 有下一条消息等待：呸，你读了一部分，没有简单的方法可以恢复。

2.3 巨大：即使消息只有 1 个字节，也无法分配内存。

这个字节计数器一般是用来验证消息的。看起来 beanstalkd 协议就是这种情况。

使用扫描仪，解析消息，检查长度与预期数量...利润

UPD

请注意，默认 bufio.Scanner 无法读取超过 64k 的内容，请先使用 scanner.Buffer 设置最大长度。这很糟糕，因为您不能即时更改此选项，并且某些数据可能已被 "pre"-扫描仪读取。

UPD2

想着我上次的更新。看看 net.textproto 它是如何像简单状态机一样实现 dotReader 的。您可以先读取命令然后 "expected bytes" 检查有效载荷来做类似的事情。

golang - bufio 读取多行直到 (CRLF) \r\n 定界符

golang - bufio read multiline until (CRLF) \r\n delimiter

io

buffer

go

beanstalkd