如何将记录从镶木地板写入另一个镶木地板？
How to write record from parquet to another parquet?
我有一个包含一些数据的大型镶木地板文件。假设有很多关于某些动物的信息，例如：
id, name, breed, traits
我可以通过 sql 以标准方式在 spark 中查询它。示例：
spark.sql("SELECT * form animals where id IN (10, 11)").collect()
我得到了结果。
但我想做的是将找到的记录复制为具有相同结构的新镶木地板。这可能吗？我试图在网上找到一些信息，但没有找到任何有用的信息，所以一如既往地堆栈是我最后的希望:)
也许有人有一些提示或资源，关于镶木地板上那种操作的文档？
您可以将结果存储在 df 中，然后将该数据另存为 parquet 文件 -
df = spark.sql("SELECT * form animals where id IN (10, 11)")
df.write.parquet("filename.parquet")
了解更多关于parquet文件读写的知识 - click here
我有一个包含一些数据的大型镶木地板文件。假设有很多关于某些动物的信息，例如：
id, name, breed, traits
我可以通过 sql 以标准方式在 spark 中查询它。示例：
spark.sql("SELECT * form animals where id IN (10, 11)").collect()
我得到了结果。
但我想做的是将找到的记录复制为具有相同结构的新镶木地板。这可能吗？我试图在网上找到一些信息，但没有找到任何有用的信息，所以一如既往地堆栈是我最后的希望:)
也许有人有一些提示或资源，关于镶木地板上那种操作的文档？
您可以将结果存储在 df 中，然后将该数据另存为 parquet 文件 -
df = spark.sql("SELECT * form animals where id IN (10, 11)")
df.write.parquet("filename.parquet")
了解更多关于parquet文件读写的知识 - click here