为什么我在 Tez 工作中得到负分配映射器？顶点故障？

Question

我正在尝试使用记录在案的 PhoenixStorageHandler here，并在直线 shell:

中使用以下查询填充它

insert into table pheonix_table select * from hive_table;

我在 Tez 会话中得到以下映射器细分：

...
INFO  : Map 1: 0(+50)/50 
INFO  : Map 1: 0(+50)/50 
INFO  : Map 1: 0(+50,-2)/50 
INFO  : Map 1: 0(+50,-3)/50
...

在会话崩溃之前出现关于顶点失败的非常长的错误消息（422 行）：

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Map 1, vertexId=vertex_1499857429667_0084_2_00, diagnostics=[Task failed, taskId=task_1499857429667_0084_2_00_000007, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.RuntimeException: java.lang.RuntimeException: Map operator initialization failed [.........] Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:49, Vertex vertex_1499857429667_0084_2_00 [Map 1] killed/failed due to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0 (state=08S01,code=2)

这个错误指的是什么？为什么会有'negative mappers'?

Answer 1

负数表示尝试失败或被杀死的次数。格式为：

完成（运行，-失败或被杀死）/总计

您可以在作业跟踪器日志中查看有关某些映射器失败原因的详细信息。

另请参阅此答案：

为什么我在 Tez 工作中得到负分配映射器？顶点故障？

Why am I getting negative allocated mappers in Tez job? Vertex failure?

hive

hbase

hiveql

phoenix

apache-tez