Calculating MAPE in H2o: Error: Provided column type POSIXct is unknown
Calculating MAPE in H2o: Error: Provided column type POSIXct is unknown
按照我回答的问题：
我想使用 H2o 包预测第二天。 你可以在上面找到我的数据集的详细解释link。
H2o中的数据维度不同。
所以，在做出预测后，我想计算 MAPE
我必须将训练和测试数据更改为 H2o 格式
train_h2o <- as.h2o(train_data)
test_h2o <- as.h2o(test_data)
mape_calc <- function(sub_df) {
pred <- predict.glm(glm_model, sub_df)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
# FINAL DATAFRAME
final_df <- do.call(rbind, df_list)
上面的代码适用于前一天的“Non-H2o”预测验证，它计算每一天的 MAPE。
我尝试将 H2o 预测模型转换为正常格式，但根据：，这是不可能的。
要对 H2O 进行预测：
例如，假设我们要创建一个随机森林模型
y <- "RealPtot" #target
x <- names(train_h2o) %>% setdiff(y) #features
rforest.model <- h2o.randomForest(y=y, x=x, training_frame = train_h2o, ntrees = 2000, mtries = 3, max_depth = 4, seed = 1122)
然后我们可以获得完整数据集的预测，如下所示。
predict.rforest <- as.data.frame(h2o.predict(rforest.model, test_h2o)
但就我而言，我正在尝试使用 mape_calc
进行一日预测
注意： R 或 Python 中的任何想法将不胜感激。
UPDATE2（可重现示例）：**按照@Darren Cook 的步骤：
我提供了一个更简单的例子——波士顿住房数据集。
library(tidyverse)
library(h2o)
h2o.init(ip="localhost",port=54322,max_mem_size = "128g")
data(Boston, package = "MASS")
names(Boston)
[1] "crim" "zn" "indus" "chas" "nox" "rm" "age" "dis" "rad" "tax" "ptratio"
[12] "black" "lstat" "medv"
set.seed(4984)
#Added 15 minute Time and date interval
Boston$date<- seq(as.POSIXct("01-09-2017 03:00", format = "%d-%m-%Y %H:%M",tz=""), by = "15 min", length = 506)
#select first 333 values to be trained and the rest to be test data
train = Boston[1:333,]
test = Boston[334:506,]
#Dropped the date and time
train_data_finialized <- subset(train, select=-c(date))
test_data_finialized <- test
#Converted the dataset to h2o object.
train_h2o<- as.h2o(train_data_finialized)
#test_h2o<- as.h2o(test)
#Select the target and feature variables for h2o model
y <- "medv" #target
x <- names(train_data_finialized) %>% setdiff(y) #feature variables
# Number of CV folds (to generate level-one data for stacking)
nfolds <- 5
#Replaced RF model by GBM because GBM run faster
# Train & Cross-validate a GBM
my_gbm <- h2o.gbm(x = x,
y = y,
training_frame = train_h2o,
nfolds = nfolds,
fold_assignment = "Modulo",
keep_cross_validation_predictions = TRUE,
seed = 1)
mape_calc <- function(sub_df) {
p <- h2o.predict(my_gbm, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc)
final_df <- do.call(rbind, df_list)
这是我现在遇到的错误：
Error in .h2o.doSafeREST(h2oRestApiVersion = h2oRestApiVersion,
urlSuffix = page, :
ERROR MESSAGE:
Provided column type POSIXct is unknown. Cannot proceed with parse
due to invalid argument.
您似乎混淆了 R 和 H2O 数据类型。请记住，H2O 的 R 只是一个 R API，与原生 R 不同。这意味着您不能将需要 R 数据帧的 R 函数应用于 H2OFrame。同样，当它需要 H2OFrame 时，您不能将 H2O 函数应用于 R 数据帧。
正如您在 by 上的 R 文档中看到的那样，它是一个需要 "an R object, normally a data frame, possibly a matrix" 的函数，因此您不能传入 H2O 帧。
同样，您将 date = H2OFrame 传递给 data.frame()。
但是，您可以使用 as.data.frame() 将 H2OFrame 转换为 R 数据帧，然后完全在 R 中进行计算。
H2O 运行在 R 的单独进程中（无论 H2O 在本地服务器上还是在远程数据中心）。 H2O 数据和 H2O 模型保存在那个 H2O 过程中，R 看不到。
dH <- as.h2o(dR) 所做的是将 R 数据帧 dR 复制到 H2O 的内存 space 中。 dH 是描述 H2O 数据帧的 R 变量。 IE。它是一个指针，或者一个句柄；它不是数据本身。
dR <- as.data.frame(dH) 所做的是将数据从 H2O 进程的内存复制到 R 进程的内存中。 （as.vector(dH) 在 dH 描述单个列时执行相同的操作）
因此，假设 sub_df 是 R 数据框，修改 mape_calc() 的最简单方法是将前两行更改如下：
mape_calc <- function(sub_df) {
p <- h2o.predict(rforest.model, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
即将 sub_df 上传到 H2O，然后将其提供给 h2o.predict()。然后使用 as.vector() 下载所做的预测。
这与您的原始代码有关。所以保留这个的原始版本：
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
即不要直接在 test_h2o.
上使用 by()
更新 基于已编辑的问题：
我对您的示例代码进行了两处更改。首先，我从 sub_df 中删除了日期列。这就是导致错误消息的原因。
第二个改动只是为了简化return类型；不重要，但你最终得到了重复的日期列，之前。
mape_calc <- function(sub_df) {
sub_df_minus_date <- subset(sub_df, select=-c(date))
p <- h2o.predict(my_gbm, as.h2o(sub_df_minus_date))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
data.frame(mape = mape)
}
旁白： h2o.predict() 在处理一批数据进行预测时效率最高。将 h2o.predict() 放在循环中是一种代码味道。您最好在循环外调用 h2o.predict(rforest.model, test_h2o) 一次，然后将预测下载到 R 中，并将它们 cbind 下载到 test_data，然后对该组合数据使用 by .
UPDATE 这是您的示例更改为以这种方式工作：（我已将预测作为额外的列添加到测试数据中；还有其他方法可以做到这一点，当然）
test_h2o <- as.h2o(subset(test_data_finialized, select=-c(date)))
p <- h2o.predict(my_gbm, test_h2o)
test_data_finialized$pred = as.vector(p)
mape_calc2 <- function(sub_df) {
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - sub_df$pred)/actual))
data.frame(mape = mape)
}
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc2)
您应该注意到它 运行 快得多。
附加更新：by() 通过将第二个参数的相同值分组，并将它们一起处理来工作。由于您所有的时间戳都不同，因此您一次处理一行。
查看 xts 库，例如apply.daily() 对时间戳进行分组。但是对于想要按日期处理的简单情况，有一个简单的 hack。将您的 by() 行更改为：
df_list <- by(test_data_finialized, as.Date(test_data_finialized$date), mape_calc2)
使用as.Date() 将去掉时间。因此，同一天的所有行现在看起来都一样并一起处理。
旁白 2: 如果你做出臭名昭著的 minimal example，你会得到更好的回应。然后人们可以 运行 你的代码，他们可以测试他们的答案。使用每个人都有的简单数据集通常也更好，例如虹膜，而不是您自己的数据。 （您可以对前 4 个字段中的任何一个进行回归；使用鸢尾花并不一定总是与预测物种有关。）
旁白 3：您可以完全在 H2O 中执行 MAPE，因为 abs() 和 mean() 函数将直接在 H2O 数据帧上工作（就像很多其他的东西 - 请参阅 H2O 手册）：
（我没有将其标记为重复，因为您的问题是如何调整 by() 以用于 H2O 数据帧，而不是如何有效地计算 MAPE！）
会不会只是文件格式的问题？我从 Excel 和 运行:
导入后得到 "Provided column type POSIXct is unknown"
hr_data_h2o <- as.h2o(hr_data)
split_h2o <- h2o.splitFrame(hr_data_h2o, c(0.7, 0.15), seed = 1234)
我将源文件更改为制表符分隔（没有其他更改），问题就消失了。
按照我回答的问题：
我想使用 H2o 包预测第二天。 你可以在上面找到我的数据集的详细解释link。
H2o中的数据维度不同。
所以，在做出预测后，我想计算 MAPE
我必须将训练和测试数据更改为 H2o 格式
train_h2o <- as.h2o(train_data)
test_h2o <- as.h2o(test_data)
mape_calc <- function(sub_df) {
pred <- predict.glm(glm_model, sub_df)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
# FINAL DATAFRAME
final_df <- do.call(rbind, df_list)
上面的代码适用于前一天的“Non-H2o”预测验证，它计算每一天的 MAPE。
我尝试将 H2o 预测模型转换为正常格式，但根据：，这是不可能的。
要对 H2O 进行预测：
例如，假设我们要创建一个随机森林模型
y <- "RealPtot" #target
x <- names(train_h2o) %>% setdiff(y) #features
rforest.model <- h2o.randomForest(y=y, x=x, training_frame = train_h2o, ntrees = 2000, mtries = 3, max_depth = 4, seed = 1122)
然后我们可以获得完整数据集的预测，如下所示。
predict.rforest <- as.data.frame(h2o.predict(rforest.model, test_h2o)
但就我而言，我正在尝试使用 mape_calc
进行一日预测注意： R 或 Python 中的任何想法将不胜感激。
UPDATE2（可重现示例）：**按照@Darren Cook 的步骤：
我提供了一个更简单的例子——波士顿住房数据集。
library(tidyverse)
library(h2o)
h2o.init(ip="localhost",port=54322,max_mem_size = "128g")
data(Boston, package = "MASS")
names(Boston)
[1] "crim" "zn" "indus" "chas" "nox" "rm" "age" "dis" "rad" "tax" "ptratio"
[12] "black" "lstat" "medv"
set.seed(4984)
#Added 15 minute Time and date interval
Boston$date<- seq(as.POSIXct("01-09-2017 03:00", format = "%d-%m-%Y %H:%M",tz=""), by = "15 min", length = 506)
#select first 333 values to be trained and the rest to be test data
train = Boston[1:333,]
test = Boston[334:506,]
#Dropped the date and time
train_data_finialized <- subset(train, select=-c(date))
test_data_finialized <- test
#Converted the dataset to h2o object.
train_h2o<- as.h2o(train_data_finialized)
#test_h2o<- as.h2o(test)
#Select the target and feature variables for h2o model
y <- "medv" #target
x <- names(train_data_finialized) %>% setdiff(y) #feature variables
# Number of CV folds (to generate level-one data for stacking)
nfolds <- 5
#Replaced RF model by GBM because GBM run faster
# Train & Cross-validate a GBM
my_gbm <- h2o.gbm(x = x,
y = y,
training_frame = train_h2o,
nfolds = nfolds,
fold_assignment = "Modulo",
keep_cross_validation_predictions = TRUE,
seed = 1)
mape_calc <- function(sub_df) {
p <- h2o.predict(my_gbm, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc)
final_df <- do.call(rbind, df_list)
这是我现在遇到的错误：
Error in .h2o.doSafeREST(h2oRestApiVersion = h2oRestApiVersion, urlSuffix = page, :
ERROR MESSAGE:
Provided column type POSIXct is unknown. Cannot proceed with parse due to invalid argument.
您似乎混淆了 R 和 H2O 数据类型。请记住，H2O 的 R 只是一个 R API，与原生 R 不同。这意味着您不能将需要 R 数据帧的 R 函数应用于 H2OFrame。同样，当它需要 H2OFrame 时，您不能将 H2O 函数应用于 R 数据帧。
正如您在 by 上的 R 文档中看到的那样，它是一个需要 "an R object, normally a data frame, possibly a matrix" 的函数，因此您不能传入 H2O 帧。
同样，您将 date = H2OFrame 传递给 data.frame()。
但是，您可以使用 as.data.frame() 将 H2OFrame 转换为 R 数据帧，然后完全在 R 中进行计算。
H2O 运行在 R 的单独进程中（无论 H2O 在本地服务器上还是在远程数据中心）。 H2O 数据和 H2O 模型保存在那个 H2O 过程中，R 看不到。
dH <- as.h2o(dR) 所做的是将 R 数据帧 dR 复制到 H2O 的内存 space 中。 dH 是描述 H2O 数据帧的 R 变量。 IE。它是一个指针，或者一个句柄；它不是数据本身。
dR <- as.data.frame(dH) 所做的是将数据从 H2O 进程的内存复制到 R 进程的内存中。 （as.vector(dH) 在 dH 描述单个列时执行相同的操作）
因此，假设 sub_df 是 R 数据框，修改 mape_calc() 的最简单方法是将前两行更改如下：
mape_calc <- function(sub_df) {
p <- h2o.predict(rforest.model, as.h2o(sub_df))
pred <- as.vector(p)
actual <- sub_df$Ptot
mape <- 100 * mean(abs((actual - pred)/actual))
new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
return(new_df)
}
即将 sub_df 上传到 H2O，然后将其提供给 h2o.predict()。然后使用 as.vector() 下载所做的预测。
这与您的原始代码有关。所以保留这个的原始版本：
# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)
即不要直接在 test_h2o.
by()
更新 基于已编辑的问题：
我对您的示例代码进行了两处更改。首先，我从 sub_df 中删除了日期列。这就是导致错误消息的原因。
第二个改动只是为了简化return类型；不重要，但你最终得到了重复的日期列，之前。
mape_calc <- function(sub_df) {
sub_df_minus_date <- subset(sub_df, select=-c(date))
p <- h2o.predict(my_gbm, as.h2o(sub_df_minus_date))
pred <- as.vector(p)
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - pred)/actual))
data.frame(mape = mape)
}
旁白： h2o.predict() 在处理一批数据进行预测时效率最高。将 h2o.predict() 放在循环中是一种代码味道。您最好在循环外调用 h2o.predict(rforest.model, test_h2o) 一次，然后将预测下载到 R 中，并将它们 cbind 下载到 test_data，然后对该组合数据使用 by .
UPDATE 这是您的示例更改为以这种方式工作：（我已将预测作为额外的列添加到测试数据中；还有其他方法可以做到这一点，当然）
test_h2o <- as.h2o(subset(test_data_finialized, select=-c(date)))
p <- h2o.predict(my_gbm, test_h2o)
test_data_finialized$pred = as.vector(p)
mape_calc2 <- function(sub_df) {
actual <- sub_df$medv
mape <- 100 * mean(abs((actual - sub_df$pred)/actual))
data.frame(mape = mape)
}
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc2)
您应该注意到它 运行 快得多。
附加更新：by() 通过将第二个参数的相同值分组，并将它们一起处理来工作。由于您所有的时间戳都不同，因此您一次处理一行。
查看 xts 库，例如apply.daily() 对时间戳进行分组。但是对于想要按日期处理的简单情况，有一个简单的 hack。将您的 by() 行更改为：
df_list <- by(test_data_finialized, as.Date(test_data_finialized$date), mape_calc2)
使用as.Date() 将去掉时间。因此，同一天的所有行现在看起来都一样并一起处理。
旁白 2: 如果你做出臭名昭著的 minimal example，你会得到更好的回应。然后人们可以 运行 你的代码，他们可以测试他们的答案。使用每个人都有的简单数据集通常也更好，例如虹膜，而不是您自己的数据。 （您可以对前 4 个字段中的任何一个进行回归；使用鸢尾花并不一定总是与预测物种有关。）
旁白 3：您可以完全在 H2O 中执行 MAPE，因为 abs() 和 mean() 函数将直接在 H2O 数据帧上工作（就像很多其他的东西 - 请参阅 H2O 手册）：by() 以用于 H2O 数据帧，而不是如何有效地计算 MAPE！）
会不会只是文件格式的问题？我从 Excel 和 运行:
导入后得到 "Provided column type POSIXct is unknown"hr_data_h2o <- as.h2o(hr_data)
split_h2o <- h2o.splitFrame(hr_data_h2o, c(0.7, 0.15), seed = 1234)
我将源文件更改为制表符分隔（没有其他更改），问题就消失了。