是否可以使用带有魔术命令的 Azure Synapse 在 Apache Spark 中 运行 Bash 命令

Question

在 databricks 中有以下魔法命令 $sh，它允许您在笔记本中使用 运行 bash 命令。 例如，如果我想 运行 Databrick 中的以下代码：

pip install great_expectations

我将发出以下代码：

%sh
pip install great_expectations

谁能告诉我 Azure Synapse 中 Apache Spark notebook 的等价物是什么？ 很可能 Azure Synapse 无法做到这一点，但我不知道。

只是为了补充这个问题，在 Databricks 中，当我 运行 以下命令时

great_expectations init

命令仍然卡在 运行ning 中，见图

但是，当我 运行 相同的代码时，我对常规 Linux OS 的期望是

OK to proceed? [Y/n]:

有什么我可以添加的吗

great_expectations init

制作代码return

OK to proceed? [Y/n]:

谢谢

Answer 1

Azure Synapse Analytics Spark pool supports - Only following magic commands are supported in Synapse pipeline : %%pyspark, %%spark, %%csharp, %%sql.

Python 可以通过提供环境规范文件从 PyPI 和 Conda-Forge 等存储库安装软件包。

Steps to install python package in Synapse Spark pool.

第 1 步： 从 pypi.org

注： (great_expectations) 和 (0.13.19)

第 2 步： 使用上述名称和版本创建一个 requirements.txt 文件。

第 3 步：将程序包上传到 Synapse Spark Pool。

第 4 步： 保存并等待在 Synapse Spark 池中应用程序包设置。

第 5 步： 验证安装的库

要验证是否从 PyPI 安装了正确库的正确版本，运行以下代码：

import pkg_resources
for d in pkg_resources.working_set:
     print(d)

详情请参考Manage Python libraries for Apache Spark in Azure Synapse Analytics。