无法在 Windows VM 上使用带有 ODBC 的 Azure 数据工厂将数据引入 Hive DB
Unable to ingest data into Hive DB using Azure Data Factory with ODBC on Windows VM
我想使用数据工厂管道将 CSV 文件提取到 Hive DB。有可用的 Hive 连接器,但它只能用作源而不是接收器。据我所知,获取数据的唯一方法是使用数据工厂中的 ODBC 连接器。
我的设置如下所示:
我正在使用 Azure 数据工厂 (V2) 和 Azure Windows VM 作为自托管集成运行时。我已经使用 Hive DB 所需的连接详细信息设置了 ODBC 连接器(连接成功运行)。 ODBC 连接器也会找到任何现有的表。
但是当我触发管道时出现以下错误:
Failure happened on 'Sink' side. ErrorCode=SystemErrorOdbcWriteError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ERROR [07009] [Microsoft][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Microsoft.DataTransfer.ClientLibrary.Odbc.OdbcConnector,''Type=Microsoft.DataTransfer.ClientLibrary.Odbc.Exceptions.OdbcException,Message=ERROR [07009] [Microsoft][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Microsoft Hive ODBC Driver,'
有人知道这里出了什么问题吗?
干杯,
尼克拉斯
问题已解决:不支持通过 ODBC 将数据提取到 Hive 表中,也不应该这样做。在 ADF 中使用 Hive activity,这将 运行 一个将摄取数据的 HiveQL 脚本。
我想使用数据工厂管道将 CSV 文件提取到 Hive DB。有可用的 Hive 连接器,但它只能用作源而不是接收器。据我所知,获取数据的唯一方法是使用数据工厂中的 ODBC 连接器。
我的设置如下所示: 我正在使用 Azure 数据工厂 (V2) 和 Azure Windows VM 作为自托管集成运行时。我已经使用 Hive DB 所需的连接详细信息设置了 ODBC 连接器(连接成功运行)。 ODBC 连接器也会找到任何现有的表。
但是当我触发管道时出现以下错误:
Failure happened on 'Sink' side. ErrorCode=SystemErrorOdbcWriteError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ERROR [07009] [Microsoft][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Microsoft.DataTransfer.ClientLibrary.Odbc.OdbcConnector,''Type=Microsoft.DataTransfer.ClientLibrary.Odbc.Exceptions.OdbcException,Message=ERROR [07009] [Microsoft][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Microsoft Hive ODBC Driver,'
有人知道这里出了什么问题吗?
干杯, 尼克拉斯
问题已解决:不支持通过 ODBC 将数据提取到 Hive 表中,也不应该这样做。在 ADF 中使用 Hive activity,这将 运行 一个将摄取数据的 HiveQL 脚本。