如何在 Arcore 中将 16 位深度图像保存到文件 (java)

Question

我想将深度信息从 arcore 保存到存储器中。这是开发人员指南中的示例。

  public int getMillimetersDepth(Image depthImage, int x, int y) {
  // The depth image has a single plane, which stores depth for each
  // pixel as 16-bit unsigned integers.
  Image.Plane plane = depthImage.getPlanes()[0];
  int byteIndex = x * plane.getPixelStride() + y * plane.getRowStride();
  ByteBuffer buffer = plane.getBuffer().order(ByteOrder.nativeOrder());
  short depthSample = buffer.getShort(byteIndex);
  return depthSample;
}

所以我想把这个bytebuffer保存到一个本地文件中，但是我的输出txt文件是不可读的。我该如何解决这个问题？这是我的

Image depthImage = frame.acquireDepthImage();
Image.Plane plane = depthImage.getPlanes()[0];
int format = depthImage.getFormat();
ByteBuffer buffer = plane.getBuffer().order(ByteOrder.nativeOrder());
byte[] data = new byte[buffer.remaining()];
buffer.get(data);
File mypath=new File(super.getExternalFilesDir("depDir"),Long.toString(lastPointCloudTimestamp)+".txt");
FileChannel fc = new FileOutputStream(mypath).getChannel();
fc.write(buffer);
fc.close();
depthImage.close();

我尝试用

解码它们

String s = new String(data, "UTF-8");
System.out.println(StandardCharsets.UTF-8.decode(buffer).toString());

但是这样输出还是很奇怪

    .03579:<=>@ABCDFGHJKMNOPRQSUWY]_b

Answer 1

为了获取ARCore会话提供的深度数据，您需要将字节写入您的本地文件。 Buffer 对象是一个容器，它包含特定原始类型元素的有限序列（此处为 ByteBuffer 的字节）。因此，您需要在文件中写入的是 data 变量，该变量对应于先前存储在缓冲区中的信息（根据 buffer.get(data)）。

对我来说效果很好，我设法在 python 代码中绘制了提供的深度图（但以下代码背后的想法可以很容易地适应 java 代码）：

depthData = np.fromfile('depthdata.txt', dtype = np.uint16) 
H = 120 
W = 160
def extractDepth(x):
    depthConfidence = (x >> 13) & 0x7 
    if (depthConfidence > 6): return 0 
    return x & 0x1FFF 
depthMap = np.array([extractDepth(x) for x in depthData]).reshape(H,W)
depthMap = cv.rotate(depthMap, cv.ROTATE_90_CLOCKWISE)

有关详细信息，请在此处阅读有关深度图 (DEPTH16) 格式的信息：https://developer.android.com/reference/android/graphics/ImageFormat#DEPTH16 您还必须注意，深度图分辨率设置为 160x120 像素并且根据横向格式定向。

还请确保用 try/catch 代码块包围您的代码，以防出现 IOException 错误。

如何在 Arcore 中将 16 位深度图像保存到文件 (java)

How to save 16bit depth Image to file in Arcore (java)

java

android

bytebuffer

arcore