如何创建用于在 TypeScript 中写入 Table 的 Apache 箭头向量

How to create Apache Arrow vectors for writing to a Table in TypeScript

我正在尝试编写一种方法,它获取一列数据 data: any[] 并将其打包到 Arrow 类型的数组缓冲区中以放入 Arrow table。

例如,如果我有 Type.Float64,我可以这样做:

Float64Vector.from(toFloat64Array(data));

但对于 Int64VectorTimeSecondVectorTimestampVector,我收到错误:

TimestampVector.from(data)
error: Type 'AbstractVector<any>' is missing the following properties from type 'BaseVector<any>': offset, VectorName, values, typeIds, and 7 more.ts(2740)
DecimalVector.from(data), TimeSecondVector.from(data), and BinaryVector.from(data)
Type 'AbstractVector<any>' is not assignable to type 'BaseVector<any>'.ts(2322)

我一直在梳理文档,但找不到任何解释如何使用它的内容。我只想知道如何构建这些类型的向量:

TimeSecondVector
TimestampVector

原来 Apache Arrow 提供了 BuildersGreat doc about builders

另外,不要相信这个:

Float64Vector.from(toFloat64Array(data));

对于任何数据类型。构建器似乎是要走的路,直到必须开始处理 Uint32Arrays(十进制和二进制?那是另一个问题)。

export const createTimeSecondVector = (data: number[]): TimeSecondVector => {
  const builder = TimeSecondBuilder.new({
    type: new TimeSecond(),
    nullValues: [null, undefined]
  });
  data.forEach(d => {
    builder.append(d);
  });
  return builder.finish().toVector();
};

export const createTimestampVector = (data: number[]): TimestampVector => {
  const builder = TimestampBuilder.new({
    type: new Timestamp(TimeUnit.SECOND, 'America/Denver'),
    nullValues: [null, undefined]
  });
  data.forEach(d => {
    builder.append(d);
  });
  return builder.finish().toVector();
};