如何创建用于在 TypeScript 中写入 Table 的 Apache 箭头向量
How to create Apache Arrow vectors for writing to a Table in TypeScript
我正在尝试编写一种方法,它获取一列数据 data: any[]
并将其打包到 Arrow 类型的数组缓冲区中以放入 Arrow table。
例如,如果我有 Type.Float64,我可以这样做:
Float64Vector.from(toFloat64Array(data));
但对于 Int64Vector
、TimeSecondVector
或 TimestampVector
,我收到错误:
TimestampVector.from(data)
error: Type 'AbstractVector<any>' is missing the following properties from type 'BaseVector<any>': offset, VectorName, values, typeIds, and 7 more.ts(2740)
DecimalVector.from(data), TimeSecondVector.from(data), and BinaryVector.from(data)
Type 'AbstractVector<any>' is not assignable to type 'BaseVector<any>'.ts(2322)
我一直在梳理文档,但找不到任何解释如何使用它的内容。我只想知道如何构建这些类型的向量:
TimeSecondVector
TimestampVector
原来 Apache Arrow 提供了 Builders
! Great doc about builders
另外,不要相信这个:
Float64Vector.from(toFloat64Array(data));
对于任何数据类型。构建器似乎是要走的路,直到必须开始处理 Uint32Arrays(十进制和二进制?那是另一个问题)。
export const createTimeSecondVector = (data: number[]): TimeSecondVector => {
const builder = TimeSecondBuilder.new({
type: new TimeSecond(),
nullValues: [null, undefined]
});
data.forEach(d => {
builder.append(d);
});
return builder.finish().toVector();
};
export const createTimestampVector = (data: number[]): TimestampVector => {
const builder = TimestampBuilder.new({
type: new Timestamp(TimeUnit.SECOND, 'America/Denver'),
nullValues: [null, undefined]
});
data.forEach(d => {
builder.append(d);
});
return builder.finish().toVector();
};