Pyspark 结构化流 Json 架构

Question

如何创建 Spark 结构化流所需的 json 模式？ 尝试使用 "from_json" 生成，但它与 pyspark 不兼容。

我使用的是 2.3.0 版本的 spark

Answer 1

方法 from_json 要求您提供 StructType([StructField(...)]) 模式作为其第二个参数。为您的 data-stream 创建一个 StructType 模式并将其作为 from_json(datastream,your_msg_schema) 传递给函数，您应该是金色的。

如果您需要关于上述案例的任何具体帮助，请分享您尝试过的代码。