是否 python 支持 Azure Synapse Analytics?

Is there python support for Azure Synapse Analytics?

我想做什么?

类似胶水雅典娜的过程。

  1. S3 中的数据
  2. AWS Glue(创建元数据表)
  3. 可以通过 boto3(python 库)使用 Athena 查询表

我在 Azure Cloud 中遇到的问题

~尝试使用 Azure Synapse Analytics 复制上述过程~

  1. 链接的 Azure 存储容器中的数据
  2. Azure 数据工厂(创建外部表)
  3. 如何使用 python 对外部表进行 T-SQL 查询?

是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用?

是的。 PyODBC 与 Synapse 一起工作。它并不完美,但我使用它。

https://docs.microsoft.com/en-us/azure/azure-sql/database/connect-query-python

请注意,安装它可能有点棘手。您需要 Python 包,还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。

这是我的 dockerfile 在 Ubuntu 18.04

上执行的部分
RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates

RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
&& curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
&& apt update && ACCEPT_EULA=Y apt install -y msodbcsql17