重定向(>) h5dump 输出到文本文件导致数据丢失

Question

我有一个运行以下命令的 bash 脚本：

h5dump --noindex particle_pos.6400_acetone > tempPythonFile.txt

hdf5 文件的内容 particle_pos。6400_acetone 是 x、y、z 坐标的集合，如下所示。

HDF5 "particle_pos.6400_acetone" { GROUP "/" {    DATASET "particle position" {
      DATATYPE  H5T_COMPOUND {
         H5T_IEEE_F64LE "x";
         H5T_IEEE_F64LE "y";
         H5T_IEEE_F64LE "z";
      }
      DATASPACE  SIMPLE { ( 7372815 ) / ( 7372815 ) }
      DATA {
         {
            0.0985972,
            0.0051215,
            0.000543894
         },
         {
            0.0986334,
            0.00520195,
            0.000408405
         },

该文件从头到尾看起来应该与上面的文本类似，但是当我转到文本文件的末尾时，我看到了以下内容。

对我来说，似乎发生了一些正在丢失数据的事情，因为在空白条目的海洋中偶尔会有一个浮点数。

我在较小的数据集上使用此命令没有问题，但是当我的数据集包含 7372815 个元素时，我开始看到 tempPythonFile.txt 文件中缺少数据。

是否有更容易接受的将 HDF5 数据导出到文本文件的方法？ redirect(>) 命令是否不适用于大量数据？

谢谢

Answer 1

我确实收到了 HDF5 小组的回复，他们确实发现这是我使用的 HDF5 版本的问题。

重定向(>) h5dump 输出到文本文件导致数据丢失

Redirecting(>) h5dump output to text file causes data loss

linux

bash

file-io

hdf5