是否 python 支持 Azure Synapse Analytics?
Is there python support for Azure Synapse Analytics?
我想做什么?
类似胶水雅典娜的过程。
- S3 中的数据
- AWS Glue(创建元数据表)
- 可以通过 boto3(python 库)使用 Athena 查询表
我在 Azure Cloud 中遇到的问题
~尝试使用 Azure Synapse Analytics 复制上述过程~
- 链接的 Azure 存储容器中的数据
- Azure 数据工厂(创建外部表)
- 如何使用 python 对外部表进行 T-SQL 查询?
是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用?
是的。 PyODBC 与 Synapse 一起工作。它并不完美,但我使用它。
https://docs.microsoft.com/en-us/azure/azure-sql/database/connect-query-python
请注意,安装它可能有点棘手。您需要 Python 包,还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。
这是我的 dockerfile 在 Ubuntu 18.04
上执行的部分
RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates
RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
&& curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
&& apt update && ACCEPT_EULA=Y apt install -y msodbcsql17
我想做什么?
类似胶水雅典娜的过程。
- S3 中的数据
- AWS Glue(创建元数据表)
- 可以通过 boto3(python 库)使用 Athena 查询表
我在 Azure Cloud 中遇到的问题
~尝试使用 Azure Synapse Analytics 复制上述过程~
- 链接的 Azure 存储容器中的数据
- Azure 数据工厂(创建外部表)
- 如何使用 python 对外部表进行 T-SQL 查询?
是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用?
是的。 PyODBC 与 Synapse 一起工作。它并不完美,但我使用它。
https://docs.microsoft.com/en-us/azure/azure-sql/database/connect-query-python
请注意,安装它可能有点棘手。您需要 Python 包,还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。
这是我的 dockerfile 在 Ubuntu 18.04
上执行的部分RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates
RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
&& curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
&& apt update && ACCEPT_EULA=Y apt install -y msodbcsql17