来自 pandas 铸件的 h2o 帧

Question

我正在使用 h2o 从 python 执行预测建模。我使用 pandas 从 csv 加载了一些数据，指定了一些列类型：

dtype_dict = {'SIT_SSICCOMP':'object',
              'SIT_CAPACC':'object',
              'PTT_SSIRMPOL':'object',
              'PTT_SPTCLVEI':'object',
              'cap_pad':'object',
              'SIT_SADNS_RESP_PERC':'object',
              'SIT_GEOCODE':'object',
              'SIT_TIPOFIRMA':'object',
              'SIT_TPFRODESI':'object',
              'SIT_CITTAACC':'object',
              'SIT_INDIRACC':'object',
              'SIT_NUMCIVACC':'object'
              }
date_cols = ["SIT_SSIDTSIN","SIT_SSIDTDEN","PTT_SPTDTEFF","PTT_SPTDTSCA","SIT_DTANTIFRODE","PTT_DTELABOR"]


columns_to_drop = ['SIT_TPFRODESI','SIT_CITTAACC',
       'SIT_INDIRACC', 'SIT_NUMCIVACC', 'SIT_CAPACC', 'SIT_LONGITACC',
       'SIT_LATITACC','cap_pad','SIT_DTANTIFRODE']


comp='mycomp'

file_completo = os.path.join(dataDir,"db4modelrisk_"+comp+".csv")
db4scoring = pd.read_csv(filepath_or_buffer=file_completo,sep=";", encoding='latin1',
                          header=0,infer_datetime_format =True,na_values=[''], keep_default_na =False,
                          parse_dates=date_cols,dtype=dtype_dict,nrows=500e3)
db4scoring.drop(labels=columns_to_drop,axis=1,inplace =True)

然后，在设置 h2o 集群后，我使用 db4scoring_h2o = H2OFrame(db4scoring) 将其导入 h2o，然后将分类预测变量转换为因子，例如：

db4scoring_h2o["SIT_SADTPROV"]=db4scoring_h2o["SIT_SADTPROV"].asfactor()
db4scoring_h2o["PTT_SPTFRAZ"]=db4scoring_h2o["PTT_SPTFRAZ"].asfactor()

当我使用 db4scoring.dtypes 检查数据类型时，我注意到它们已正确设置，但是当我将其导入 h2o 时，我注意到 h2oframe 执行了一些不需要的枚举转换（例如从 float 或从 int）。我想知道这是否是一种在 H2OFrame 中指定变量格式的方法。

Answer 1

是的，有。请在此处查看 H2OFrame 文档：http://docs.h2o.ai/h2o/latest-stable/h2o-py/docs/frame.html#h2oframe

你只需要在投射时使用 column_types 参数。

这是一个简短的例子：

# imports
import h2o
import numpy as np
import pandas as pd

# create small random pandas df
df = pd.DataFrame(np.random.randint(0,10,size=(10, 2)), 
columns=list('AB'))
print(df)

#   A  B
#0  5  0
#1  1  3
#2  4  8
#3  3  9
# ...

# start h2o, convert pandas frame to H2OFrame
# use column_types dict to set data types
h2o.init()
h2o_df = h2o.H2OFrame(df, column_types={'A':'numeric', 'B':'enum'})
h2o_df.describe() # you should now see the desired data types 

#       A   B
# type int enum
# ...

来自 pandas 铸件的 h2o 帧

h2o frame from pandas casting

python

pandas

casting

h2o