如何迭代没有列名的数据框记录

Question

我在 HDFS Location 中有如下格式的数据帧记录，但它们没有列名

下面的输出是我使用带制表符分隔的 StringBuilder 编写的。

[yahoo.com      899 3   24  0.003   0.026
 apple.com      117 5   101 4.245   0.086
 testdomain.com 6   6   6   1.0     1.0
]

以上详细信息描述为MAIL_ID, TESENT, TEBOUN, TEVET, B_RATIO, C_RATIO

等栏

我必须遍历每一行并使用下面的 JSON 格式

调用外部 API

val subJson = new JSONObject();
subJson.put("TS", System.currentTimeMillis());
subJson.put("TESENT","899")
subJson.put("TEBOUN","3")
subJson.put("TEVET","24")
subJson.put("B_RATIO","0.003")
subJson.put("C_RATIO","0.026")

通过使用 subJson，我必须调用外部 API。

感谢您的快速帮助。

Answer 1

您说过 您在 hdfs 中有制表符分隔的文件并且您想要

iterate through each row and call external API by using below JSON Format

以下架构应该适合您

val devVerRdd = sc.textFile(file path in hdfs)

devVerRdd.map(x => {
  val splitted = x.split("\t")

  val subJson = new JSONObject();
  subJson.put("TS", System.currentTimeMillis());
  subJson.put("TESENT",splitted(1))
  subJson.put("TEBOUN",splitted(2))
  subJson.put("TEVET",splitted(3))
  subJson.put("B_RATIO",splitted(4))
  subJson.put("C_RATIO",splitted(5))
   //nvoke external API here
})

和不要忘记在转换结束时触发动作

如何迭代没有列名的数据框记录

How to iterate data frame records having with out column names

scala

dataframe

apache-spark

spark-dataframe