如何检测十进制列是否应转换为整数或双精度？

Question

我使用 Apache spark 作为 ETL 工具从 Oracle 获取表到 Elasticsearch .

我遇到数字列的问题，spark 将它们识别为 decimal 而 Elasticsearch 不接受 decimal类型；所以我将每个 decimal 列转换为 double，这是 Elasticsearch.

接受的

dataFrame = dataFrame.select(
    [col(name) if 'decimal' not in colType else col(name).cast('double') for name, colType in dataFrame.dtypes]
)

当前每个数字列都会double的问题；它是否具有 十进制 值。

我的问题是有什么方法可以检测列类型应该转换为整数类型还是双精度类型？

Answer 1

您可以从数据帧的架构中检索数据类型 == DecimalType() 的所有列名，请参见下面的示例（在 Spark 2.4.0 上测试）：

更新：只需使用df.dtypes即可检索信息。

from pyspark.sql.functions import col

df = spark.createDataFrame([ (1, 12.3, 1.5, 'test', 13.23) ], ['i1', 'd2', 'f3', 's4', 'd5'])

df = df.withColumn('d2', col('d2').astype('decimal(10,1)')) \
       .withColumn('d5', col('d5').astype('decimal(10,2)'))
#DataFrame[i1: bigint, d2: decimal(10,1), f3: double, s4: string, d5: decimal(10,2)]

decimal_cols = [ f[0] for f in df.dtypes if f[1].startswith('decimal') ]

print(decimal_cols)
['d2', 'd5']

只是跟进：以上方法对array、struct[=30=无效] 和嵌套数据结构。如果 struct 中的字段名称不包含空格、点等字符，则可以直接使用 df.dtypes 中的类型。

import re from pyspark.sql.functions import array, struct, col decimal_to_double = lambda x: re.sub(r'decimal\(\d+,\d+\)', 'double', x) df1 = df.withColumn('a6', array('d2','d5')).withColumn('s7', struct('i1','d2')) # DataFrame[i1: bigint, d2: decimal(10,1), l3: double, s4: string, d5: decimal(10,2), a6: array<decimal(11,2)>, s7: struct<i1:bigint,d2:decimal(10,1)>] df1.select(*[ col(d[0]).astype(decimal_to_double(d[1])) if 'decimal' in d[1] else col(d[0]) for d in df1.dtypes ]) # DataFrame[i1: bigint, d2: double, l3: double, s4: string, d5: double, a6: array<double>, s7: struct<i1:bigint,d2:double>]

但是，如果StructType()的任何字段名称包含空格、点等，则上述方法可能无效在职的。在这种情况下，我建议您检查：df.schema.jsonValue()['fields'] 检索和操作 JSON 数据以进行 dtype 转换。

Answer 2

解决方案是在确定适当的类型之前检查小数。

我添加了一个函数来检查 return 数据类型：

def check(self, colType):
    # you should import re before
    # colType will be like decimal(15,0); so get these numbers
    [digits, decimals] = re.findall(r'\d+', colType)
    # if there's no decimal points, convert it to int
    return 'int' if decimals == '0' else 'double'

然后我为每一列调用它：

dataFrame = dataFrame.select(
    [col(name) if 'decimal' not in colType else col(name).cast(self.check(colType)) for name, colType in dataFrame.dtypes]
)

如何检测十进制列是否应转换为整数或双精度？

How to detect if decimal columns should be converted into integer or double?

python

elasticsearch

pyspark

pyspark-sql

pyspark-dataframes