如何在 mosaic 中以最小配置 运行 流动
How to run flow with minimal configuration in mosaic
我正在使用 Mosaic Decisions 开发一些 ETL 作业。当 运行 作业时,它使用默认配置将作业提交给 Spark。这个默认配置真的很大,我不需要那么多用于开发(因为我在开发时使用较少数量的记录进行单元测试)。
有什么方法可以指示 Mosaic 在我的开发中使用更少的 Spark 资源?这样我就不会不必要地阻塞集群的资源?
是的,这是有可能实现的。为此,您必须使用 Manager 中所需的 resource 配置创建一个新的 运行 配置 角色 (LTI 马赛克管理器)。然后,只需使用新创建的 运行 配置 .
执行 flow
按照以下步骤创建新的 运行 配置:
- 登录
Mosaic Decisions
并在右上角单击“项目”,然后单击 Manager
。
- 在
Mosaic Manager
中,单击左侧导航面板中的 Runconfig
选项卡。
- 点击
Add New Configuration
。提供所需的 配置 并单击 Save
。
- 返回
Mosaic Decisions
,并使用新创建的运行配置[执行所需的流程
我正在使用 Mosaic Decisions 开发一些 ETL 作业。当 运行 作业时,它使用默认配置将作业提交给 Spark。这个默认配置真的很大,我不需要那么多用于开发(因为我在开发时使用较少数量的记录进行单元测试)。
有什么方法可以指示 Mosaic 在我的开发中使用更少的 Spark 资源?这样我就不会不必要地阻塞集群的资源?
是的,这是有可能实现的。为此,您必须使用 Manager 中所需的 resource 配置创建一个新的 运行 配置 角色 (LTI 马赛克管理器)。然后,只需使用新创建的 运行 配置 .
执行 flow按照以下步骤创建新的 运行 配置:
- 登录
Mosaic Decisions
并在右上角单击“项目”,然后单击Manager
。
- 在
Mosaic Manager
中,单击左侧导航面板中的Runconfig
选项卡。 - 点击
Add New Configuration
。提供所需的 配置 并单击Save
。
- 返回
Mosaic Decisions
,并使用新创建的运行配置[执行所需的流程