使用 Sqoop 将来自 MySQL 的数据加载到 PIG 中

Question

我正在尝试使用 Sqoop 和 PIG，所以我看到的几乎所有文档都说 Sqoop 用于从 MySQL 获取数据并将其放入 HDFS 存储库中，然后可以访问这些数据使用猪。相反，我想知道我是否可以直接从 pig a MySQL table 读取。如果你们的答案是肯定的，请分享一个示例脚本。谢谢，我很感激。

Answer 1

您不能直接从 PIG 访问 MySQL。

您有两个选择：

• 使用Sqoop抓取数据到HDFS，然后使用PIG脚本分析。

• 编写 UDF 并创建到 MySQL 的连接并获取数据并进行分析。这更像是一个常规的 Java JDBC 代码。

如果您的数据量很大，选项 b 将是一个糟糕的选择。 不确定您的要求，但您正在扼杀 Sqoop 的美感。 Sqoop 优雅地创建了映射器，映射器又创建了多个到数据库的连接以更快地提取数据。

或许您可以分享更多详细信息，说明您尝试此操作的确切原因。