如何正确读取 byte java 文件

Question

我想快速逐行读取 UTF-8 格式的大型 csv 文件（大约 ~ 1gb）。我已经为它创建了一个 class，但它不能正常工作。 UTF-8 从 2 个字节解码西里尔符号。我使用字节缓冲区来读取它，例如，它有 10 个字节的长度。因此，如果文件中的符号由 10 和 11 个字节组成，则它不会被正常解码:(

public class MyReader extends InputStream {

  private FileChannel channel;
  private ByteBuffer buffer = ByteBuffer.allocate(10);
  private int buffSize = 0;
  private int position = 0;
  private boolean EOF = false;
  private CharBuffer charBuffer;

  private MyReader() {}

  static MyReader getFromFile(final String path) throws IOException {
    MyReader myReader = new MyReader();
    myReader.channel = FileChannel.open(Path.of(path),
        StandardOpenOption.READ);
    myReader.initNewBuffer();
    return myReader;
  }
  private void initNewBuffer() {
    try {
      buffSize = channel.read(buffer);
      buffer.position(0);
      charBuffer = Charset.forName("UTF-8").decode(buffer);
      buffer.position(0);
    } catch (IOException e) {
      throw new RuntimeException("Error reading file: {}", e);
    }
  }
  @Override
  public int read() throws IOException {
    if (EOF) {
      return -1;
    }
    if (position < charBuffer.length()) {
      return charBuffer.array()[position++];
    } else {
      initNewBuffer();
      if (buffSize < 1) {
        EOF = true;
      } else {
        position = 0;
      }
      return read();
    }
  }
  public char[] readLine() throws IOException {
    int readResult = 0;
    int startPos = position;
    while (readResult != -1) {
      readResult = read();
    }
    return Arrays.copyOfRange(charBuffer.array(), startPos, position);
  }
}

Answer 1

糟糕的解决方案，但有效）

private void initNewBuffer() {
    try {
      buffSize = channel.read(buffer);
      buffer.position(0);
      charBuffer = StandardCharsets.UTF_8.decode(buffer);
      if (buffSize > 0) {
        byte edgeByte = buffer.array()[buffSize - 1];
        if (edgeByte == (byte) 0xd0 ||
            edgeByte == (byte) 0xd1 ||
            edgeByte == (byte) 0xc2 ||
            edgeByte == (byte) 0xd2 ||
            edgeByte == (byte) 0xd3
        ) {
          channel.position(channel.position() - 1);
          charBuffer.limit(charBuffer.limit()-1);
        }
      }
      buffer.position(0);
    } catch (IOException e) {
      throw new RuntimeException("Error reading file: {}", e);
    }
  }

Answer 2

第一：收益有问题

Files class 有许多不错的且生产速度相当快的方法。

高位 1 (< 0) 的字节是 UTF-8 多字节序列的一部分。高位 10 它们是连续字节。现在序列可能长达 6 个字节（我相信）。

因此下一个缓冲区以一些连续字节开始，它们属于前一个缓冲区。

我很乐意将编程逻辑留给你。

如何正确读取 byte java 文件

How to correctly read byte java file

java

nio