Hive/Impala 列注释在几个字符后被截断
Hive/Impala column-comments cut off after several characters
当我查看我们的数据湖中的列评论时(Hadoop,在 parquet-table 使用 Hive 或 Impala 创建期间所做的评论),它们被删减了约 200 个字符.
这可能是我们的 hadoop 系统中的全局字符设置或某些 Hive 限制?如果没有,有没有办法在 table 创建期间设置注释的最大字符串长度?不幸的是,我没有对系统本身的管理员访问权限,因此,见解有限。
列注释存储在 Hive Metastore table COLUMNS_V2
中名为 COMMENT
的列中。
目前,该列的大小限制为 256 个字符(例如,请参阅 Hive 版本 3.0.0 的 MySQL metastore schema definition)。
在即将到来的 4.0 (?) 版本中,它似乎已扩展为 varchar(4000),但关联的 Hive JIRA-4921 仍列为未解决,并且未提及目标版本号。
当我查看我们的数据湖中的列评论时(Hadoop,在 parquet-table 使用 Hive 或 Impala 创建期间所做的评论),它们被删减了约 200 个字符.
这可能是我们的 hadoop 系统中的全局字符设置或某些 Hive 限制?如果没有,有没有办法在 table 创建期间设置注释的最大字符串长度?不幸的是,我没有对系统本身的管理员访问权限,因此,见解有限。
列注释存储在 Hive Metastore table COLUMNS_V2
中名为 COMMENT
的列中。
目前,该列的大小限制为 256 个字符(例如,请参阅 Hive 版本 3.0.0 的 MySQL metastore schema definition)。
在即将到来的 4.0 (?) 版本中,它似乎已扩展为 varchar(4000),但关联的 Hive JIRA-4921 仍列为未解决,并且未提及目标版本号。