Ruby PIG 脚本中的 UDF

Question

我在 Pig 脚本中使用 Ruby 用户定义函数 (UDF)。现在的要求是在 UDF 中使用 "bunny" gem，所以我在所有数据节点上安装了 gem。但是当我在 Pig UDF 中访问 gem 时，它在那里不可用。从本地脚本，我可以在每台机器上使用 gem 但通过 Pig 脚本无法访问它。

有什么帮助吗？

Answer 1

现在，我遇到了问题。 Pig 使用 Jython 和 JRuby 库来编译 python 和 ruby udfs。所以如果我们单独在从节点上安装额外的模块没有任何区别。更好的方法是在这种情况下使用 pig 流功能。