如何在 R 中重命名 Sparklyr 中的列？

Question

这是我通过 Spark Cluster 在 R 中使用的代码，下面也给出了错误

mydata<-spark_read_csv(spark_cluster,name = "rd_1",path = "IAF_Extracted_Data_Zipped.csv",header = F,delimiter = "|")

mydata %>% select(customer=V1,device_subscriber_id=V2,user_subscriber_id=V3,user_id=V4,location_id=V5)

.f(.x[[i]], ...) 错误：找不到对象 'V1'

Answer 1

在我的脑海中，你可以尝试 customer = mydata$V1 和类似的其他变量（假设 V1,... 是 mydata 的列名）。

Answer 2

重命名约定相反 (new name = old name)

您正在寻找以下内容：

mydata %>% 
    select(V1 = customer,
           V2 = device_subscriber_id,
           V3 = user_subscriber_id,
           V4 = user_id,
           V5 = location_id)

Answer 3

如果您想要特定名称，只需在读取时提供一个名称向量：

columns <- c("customer", "device_subscriber_id", 
             "user_subscriber_id", "user_id", "location_id")

spark_read_csv(
   spark_cluster, name = "rd_1",path = "IAF_Extracted_Data_Zipped.csv",
   header = FALSE, columns = columns, delimiter = "|"
)

columns 的数量应与输入中的列数匹配。

如何在 R 中重命名 Sparklyr 中的列？

How to rename columns in Sparklyr in R?

r

apache-spark

apache-spark-sql

sparklyr