hive - 它在内部是如何工作的
hive - how it works internally
例如:
select * from <tablename> where <condition>
select sum() from tablename where <condition>
基本上是过滤、分组、聚合 - 它将生成 MR 作业,我们将能够在资源管理器中看到它 UI。
比如说:
show tables
show database
select * from tablename
select count(*) from tablename
Describe commands
这些类型的查询不需要 MR 作业,也不会显示在 RM 中,因为此信息在 MetaStore 中作为属性提供。
蜂巢在哪里记录?我们可以识别这些查询吗?
默认情况下,配置单元将日志存储在 /tmp/user
目录中。但是您可以使用 hive.querylog.location
属性 在 hive-site.xml 文件中进行设置。
例如:
select * from <tablename> where <condition>
select sum() from tablename where <condition>
基本上是过滤、分组、聚合 - 它将生成 MR 作业,我们将能够在资源管理器中看到它 UI。
比如说:
show tables
show database
select * from tablename
select count(*) from tablename
Describe commands
这些类型的查询不需要 MR 作业,也不会显示在 RM 中,因为此信息在 MetaStore 中作为属性提供。 蜂巢在哪里记录?我们可以识别这些查询吗?
默认情况下,配置单元将日志存储在 /tmp/user
目录中。但是您可以使用 hive.querylog.location
属性 在 hive-site.xml 文件中进行设置。