发送到 Spark Cell Magic Dataframe 大小配置
Send To Spark Cell Magic Dataframe size configuration
我看过上面关于如何从本地发送到 spark 内核的文档。
但是，我遇到了一个问题，我有 local pandas df fo 60,000 行，但是当我在此数据帧上尝试 send_to_spark cell magic 时，只发送了 2500 行。无论如何我可以发送整个 60,000 行而不用在本地拆分 df 吗？
我知道从 spark 发送到本地，%%spark -o df -n 60000 将完成这项工作。
使用
%%send_to_spark -i df_sending -t df -n df_sending -m 60000
-i : 我正在发送的文件
-t : 我要发送的类型
-n : 分配给文件的变量名
-m：我将发送的最大行数
使用 %%help 火花细胞魔法
我看过上面关于如何从本地发送到 spark 内核的文档。
但是，我遇到了一个问题，我有 local pandas df fo 60,000 行，但是当我在此数据帧上尝试 send_to_spark cell magic 时，只发送了 2500 行。无论如何我可以发送整个 60,000 行而不用在本地拆分 df 吗？
我知道从 spark 发送到本地，%%spark -o df -n 60000 将完成这项工作。
使用 %%send_to_spark -i df_sending -t df -n df_sending -m 60000
-i : 我正在发送的文件
-t : 我要发送的类型
-n : 分配给文件的变量名
-m：我将发送的最大行数
使用 %%help 火花细胞魔法