将 pyspark 与 pybuilder 一起使用

Question

我们正在为一个新的大数据项目设置 pybuilder。我们必须测试一些类构建正确的分布式表。因此，我们构建了一些单元测试，这些单元测试在运行在 eclipse/pydev 上运行时通过。我运行独立单元测试成功，但是当我使用 pyspark 进行广告时，我有一长串 java 异常，开头为：

ERROR Utils:91 - Aborting task
ExitCodeException exitCode=-1073741515:
 at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)

这是我的 build.py 文件：

from pybuilder.core import use_plugin
from pybuilder.core import init
import sys
import os


sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python\lib\py4j-0.10.7-src.zip'))
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python'))

use_plugin("python.core")
use_plugin("python.unittest")
use_plugin("python.install_dependencies")

default_task = "publish"

我们使用的是 pyspark 2.3.1 和 python 3.7。我做错了什么？

Answer 1

我的解决方案是在安装 Microsoft Visual C++ 2010 Redistributable Package 后在我的工作区中执行 winutils CHMOD 777 -R

将 pyspark 与 pybuilder 一起使用

Using pyspark with pybuilder

python-3.x

pybuilder

pyspark