Spark Structured Streaming Kinesis 数据源

Question

是否可以使用 Kinesis 流作为 Spark 结构化流的数据源？我找不到任何可用的连接器。

Answer 1

Qubole 有一个 kinesis-sql 库。

然后您可以使用类似于任何其他 Spark Structured Streaming 源的源：

val source = spark
   .readStream
   .format("kinesis")
   .option("streamName", "spark-source-stream")
   .option("endpointUrl", "https://kinesis.us-east-1.amazonaws.com")
   .option("awsAccessKeyId", [YOUR_AWS_ACCESS_KEY_ID])
   .option("awsSecretKey", [YOUR_AWS_SECRET_KEY])
   .option("startingPosition", "TRIM_HORIZON")
   .load

Spark Structured Streaming Kinesis 数据源

Spark Structured Streaming Kinesis Data source

apache-spark

spark-structured-streaming