我们如何使用 Reducers 将结果数据直接插入到外部 RDBMS.what must you be sure to do?为什么
How we can use Reducers to insert the resultant data directly into an external RDBMS.what must you be sure to do?? and why
场景:您正在编写一个 MR 作业,它将使用映射器处理数据,然后使用 Reducers 将结果数据直接插入到外部 RDBMS.what 您一定要这样做吗??为什么
先决条件:
1.Ensure 提交作业的客户端计算机上存在数据库驱动程序。
2.Disable 数据插入作业的推测执行
1) 如果您忘记禁用推测执行,给定 Reducer 的多个实例可能 运行,这将导致 RDBMS 中的数据超出预期。
2)即使我们需要客户端机器的数据库驱动程序,如果您打算从该客户端连接到 RDBMS,则不需要。
所以“1”选项是正确的。
我得到了这个解决方案,任何人都可以改进这个答案或让我纠正如果有任何问题。谢谢
场景:您正在编写一个 MR 作业,它将使用映射器处理数据,然后使用 Reducers 将结果数据直接插入到外部 RDBMS.what 您一定要这样做吗??为什么
先决条件: 1.Ensure 提交作业的客户端计算机上存在数据库驱动程序。 2.Disable 数据插入作业的推测执行
1) 如果您忘记禁用推测执行,给定 Reducer 的多个实例可能 运行,这将导致 RDBMS 中的数据超出预期。 2)即使我们需要客户端机器的数据库驱动程序,如果您打算从该客户端连接到 RDBMS,则不需要。
所以“1”选项是正确的。
我得到了这个解决方案,任何人都可以改进这个答案或让我纠正如果有任何问题。谢谢