Python Pig 中的 UDF
Python UDF in Pig
每当我尝试在 pig udf 中导入 python 的外部包时，它会显示以下错误
Python Error. Traceback (most recent call last):
File "pythonudf.py", line 5, in
from bs4 import BeautifulSoup
ImportError: No module named bs4
我试过包含库路径
import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')
并设置
export JYTHONPATH=$JYTHONPATH:/usr/local/lib/python3.5/dist-packages
但它仍然显示相同的错误。
我还可以做些什么？
该脚本不在本地或 mapreduce 模式下 运行。
PS: 其他不导入外部包的功能运行完美。
编辑：
python代码中的包已安装。
使用 python udf 导入包执行 pig 时使用 -embedded 选项。Reference
pig -embedded jython pythonudf.py
每当我尝试在 pig udf 中导入 python 的外部包时，它会显示以下错误
Python Error. Traceback (most recent call last): File "pythonudf.py", line 5, in from bs4 import BeautifulSoup ImportError: No module named bs4
我试过包含库路径
import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')
并设置
export JYTHONPATH=$JYTHONPATH:/usr/local/lib/python3.5/dist-packages
但它仍然显示相同的错误。 我还可以做些什么？ 该脚本不在本地或 mapreduce 模式下 运行。
PS: 其他不导入外部包的功能运行完美。
编辑： python代码中的包已安装。
使用 python udf 导入包执行 pig 时使用 -embedded 选项。Reference
pig -embedded jython pythonudf.py