NameError: name 'redis' is not defined - PySpark - Redis

Question

我在 pyspark 中使用 addPyFile 方法加载 redis.zip 文件。我可以使用

加载文件

sc.addPyFile("/home/path/to/redis.zip")

但是当运行代码使用 ./pyspark 时，它显示错误：

NameError: name 'redis' is not defined

zip(redis.zip) 包含 .py 个文件(client.py, connection.py,exceptions.py, lock.py,utils.py 和其他人）。

Python 版本是 - 3.5，spark 是 2.7

Answer 1

如果您将 py 文件打包成 zip 并使用 sc.addPyFile 添加它，您应该使用 import client、import connector 等导入模块

python