dbplyr 目前是否假定 redshift 连接实际上是 postgres 连接?
Does dbplyr currently assume a redshift connection is actually a postgres connection?
在 redshift 上愉快地使用 dbplyr 来做一些基本的事情,我发现很难执行更复杂的分析,我想知道这是由于 dbplyr 当前的工具集,还是我的错误。
一个典型的mwe:
library(dplyr)
library(dbplyr)
library(forcats)
redshift <- dbConnect(driver, url) # <<<obviously put in specific details here
tbl(redshift, "table") -> mytable
myTable %>% colnames() # This returns the correct colnames, great, working connection!
myTable %>% mutate_all(as_factor) # This gives an error
这种情况下的错误是 dbplyr 已将 sql 发送到数据库,例如:
SELECT AS_FACTOR("col_1") AS "col_1", AS_FACTOR("col_2") AS "col_2"
所以返回的错误是:
Error in .verify.JDBC.result(r, "Unable to retrieve JDBC result set for ", :
Unable to retrieve JDBC result set for SELECT AS_FACTOR("col_1") AS "col_1", AS_FACTOR("col_2") AS "col_2"....
然而,据我所知,Redshift 没有 AS_FACTOR()
功能。在这种情况下,我会期望将数据拉入我的本地会话的行为,并将其作为 R 中的一个因素进行处理,但是它似乎没有注册 a) Redshift 没有那个功能,b) Redshift 没有'不支持该数据类型(我相信,尽管愿意更正),c) 意图是提取数据并创建因子。
这似乎得到了文件 here 的支持,它将 Redshift 引入了 postgres 环境,尽管 Redshift 在范围上比 postgres 受限得多。
我的具体问题是:
- 我的推导过程是否正确?
- 这个问题的解决方法是什么,是在这个阶段之前收集我的结果,然后在本地工作的过程,还是我错过了什么?
挑战在于将 R 变量类型映射到正确的数据库类型。今天,dbplyr
翻译了 as.numeric()
、as.double()
、as.integer()
和 as.character()
。 dbplyr
无法识别的任何函数都会逐字传递到数据库,这就是结果为 as_factor()
的原因。我可能错了,但 Redshift 没有分解变量,所以使用 as.character()
可能是更好的选择。那是我在使用数据库时使用强制转换为分类数据的方法。我鼓励您使用当前的翻译之一,并避免使用 collect()
,特别是在非常大的数据集上。
在 redshift 上愉快地使用 dbplyr 来做一些基本的事情,我发现很难执行更复杂的分析,我想知道这是由于 dbplyr 当前的工具集,还是我的错误。
一个典型的mwe:
library(dplyr)
library(dbplyr)
library(forcats)
redshift <- dbConnect(driver, url) # <<<obviously put in specific details here
tbl(redshift, "table") -> mytable
myTable %>% colnames() # This returns the correct colnames, great, working connection!
myTable %>% mutate_all(as_factor) # This gives an error
这种情况下的错误是 dbplyr 已将 sql 发送到数据库,例如:
SELECT AS_FACTOR("col_1") AS "col_1", AS_FACTOR("col_2") AS "col_2"
所以返回的错误是:
Error in .verify.JDBC.result(r, "Unable to retrieve JDBC result set for ", :
Unable to retrieve JDBC result set for SELECT AS_FACTOR("col_1") AS "col_1", AS_FACTOR("col_2") AS "col_2"....
然而,据我所知,Redshift 没有 AS_FACTOR()
功能。在这种情况下,我会期望将数据拉入我的本地会话的行为,并将其作为 R 中的一个因素进行处理,但是它似乎没有注册 a) Redshift 没有那个功能,b) Redshift 没有'不支持该数据类型(我相信,尽管愿意更正),c) 意图是提取数据并创建因子。
这似乎得到了文件 here 的支持,它将 Redshift 引入了 postgres 环境,尽管 Redshift 在范围上比 postgres 受限得多。
我的具体问题是:
- 我的推导过程是否正确?
- 这个问题的解决方法是什么,是在这个阶段之前收集我的结果,然后在本地工作的过程,还是我错过了什么?
挑战在于将 R 变量类型映射到正确的数据库类型。今天,dbplyr
翻译了 as.numeric()
、as.double()
、as.integer()
和 as.character()
。 dbplyr
无法识别的任何函数都会逐字传递到数据库,这就是结果为 as_factor()
的原因。我可能错了,但 Redshift 没有分解变量,所以使用 as.character()
可能是更好的选择。那是我在使用数据库时使用强制转换为分类数据的方法。我鼓励您使用当前的翻译之一,并避免使用 collect()
,特别是在非常大的数据集上。