Hadoop：将 BytesWritable 转换为 byte[]

Question

谁能帮我把 BytesWritable 转换成 byte[]。如果我使用 value.getBytes() 值是 BytesWritable.

，我会得到额外的字节

谢谢

Answer 1

您遇到的问题是 BytesWritable 包含一个字节数组和一个长度。你必须结合使用这些。这是我写的一个小单元测试，向您展示发生了什么：

@Test
public void testBytesWritable() {

    BytesWritable bw = new BytesWritable();
    Text t1 = new Text("ABCD");
    bw.set(t1.getBytes(), 0, t1.getLength());
    System.out.println("Size: " + bw.getBytes().length);

    Text t2 = new Text("A");
    bw.set(t2.getBytes(), 0, t2.getLength());
    System.out.println("Size: " + bw.getBytes().length);

    byte[] newArray = Arrays.copyOf(bw.getBytes(), bw.getLength());
    System.out.println("Size: " + newArray.length);
}

打印出来：

Size: 6
Size: 6
Size: 1

所以你可以看到BytesWritable被设置了两次，第一次设置了更长的字节。打印出字节数组的长度表明内部字节数组的长度没有减少，它保持很大。因此，您必须使用 getLength() 方法来确定 BytesWritable 中有多少字节是有效的。在单元测试中，我使用 Arrays.copyOf() 来获取正确的字节，因为它需要一个字节数组和一个长度。

Hadoop：将 BytesWritable 转换为 byte[]

Hadoop: Convert BytesWritable to byte[]

java

hadoop

mapreduce