在 Groovy 和 Jenkins 管道中组合多个 collectEntries

Question

我正在尝试在我的 Groovy 脚本中连续使用多个 collectEntries。最好看代码，现在我有：

stage('Test') {
            // Reading content of the file
            def portsFileContent = readFile 'UsedPorts.txt'

            // Split the file by next line
            def ports = portsFileContent.split('\n')

            def steps = ports.collectEntries { port ->
                ["UI Test on port $port", {
                    sh "#!/bin/bash -lx \n startServerWithDifferentPort --params=port=$port"
                }]
            }
            parallel steps
        }

在文件 "UsedPorts.txt" 中，不同的端口由换行符分隔，例如：

4723
4733
4743

所以这个数字被存储在变量 ports 中，然后这个变量被用来为每个端口启动一个服务器实例。所以在这种情况下，它将通过以下命令启动 3 个不同的服务器实例：

def steps = ports.collectEntries { port ->
                ["UI Test on port $port", {
                    sh "#!/bin/bash -lx \n startServerWithDifferentPort --params=port=$port"
                }]
            }
            parallel steps

因为parallel steps它同时启动3个不同端口的服务器实例。

一切正常，但我有另一个文件，需要再次执行同样的操作。所以在我的第二个文件中有如下条目：

name1
name2
name3

我再次创建了一个变量来存储我的 3 个条目：

def anotherFile = readFile 'Names.txt'
def names = anotherFile.split('\n')

这是我试过的：

stage('Test') {
            // Reading content of the file
            def portsFileContent = readFile 'UsedPorts.txt'

            // Split the file by next line
            def ports = portsFileContent.split('\n')

            // Do the same again
            def anotherFile = readFile 'Names.txt'
            def names = anotherFile.split('\n')

            def steps = ports.collectEntries, names.collectEntries { port, name ->
                ["UI Test on $name", {
                    sh "#!/bin/bash -lx \n someMoreShellStuff --params=port=$port"
                }]
            }
            parallel steps
        }

但是我不能用逗号分隔我的第二个 collectEntries，因为它给我一个语法错误。现在我的问题是，如何在同一个命令中使用这个变量。有可能吗？

谢谢

更新 #1

使用 Szymon Stepniak 的答案后，我的新代码如下所示：

stage('Test') {
            // Reading content of the file
            def portsFileContent = readFile 'AppiumUsedPorts.txt'

            // Split the file by next line
            def ports = portsFileContent.split('\n')

            // Getting device IDs to get properties of device
            def deviceIDFileContent = readFile 'DeviceIDs.txt'
            def deviceIDs = deviceIDFileContent.split('\n')

            // Define port and id as an pair
            def pairs = (0..Math.min(ports.size(), deviceIDs.size())).collect { i -> [id: deviceIDs[i], port: ports[i]] }

            def steps = pairs.collectEntries { pair ->
                ["UI Test on ${pair.id}", {
                    sh "echo 'Running test with port ${pair.port}'"
                }]
            }
            parallel steps
        }

这是导致错误的原因 java.lang.ArrayIndexOutOfBoundsException

更新 #2

AppiumUsedPorts.txt的内容：

4723
4733

DeviceIDs.txt

的内容

5353352c
G000KU0663550R92

Answer 1

您似乎想要压缩两个列表中的元素 - ports 和 names 并使用这些对来创建并行执行的步骤。所以假设 ports 和 names 包含类似的东西：

def ports = [8080, 8081, 8082, 8083]
def names = ['Host A', 'Host B', 'Host C', 'Host D', 'Host E']

您需要一个配对列表，例如：

def pairs = [[port: 8080, name: 'Host A'], [port: 8081, name: 'Host B'], [port: 8082, name: 'Host C'], [port:8083, 'Host D']]

我特意使用了两个不同大小的列表，以解释压缩两个列表的结果总是与最短列表的大小相同。

Groovy 有一个方法 GroovyCollections.transpose(List lists) 获取列表的列表（例如 [[8080, 8081, 8082, 8083], ['Host A', 'Host B', 'Host C', 'Host D', 'Host E']]）和 "zips" 两个列表在一起，如：

[[8080, 'Host A'], [8081, 'Host B'], [8082, 'Host C'], [8083, 'Host D']]

但它不会在 Jenkins Pipeline 中工作 - 如果您尝试使用它，您将得到：

org.jenkinsci.plugins.scriptsecurity.sandbox.RejectedAccessException: Scripts not permitted to use staticMethod org.codehaus.groovy.runtime.DefaultGroovyMethods transpose java.util.List

无论如何，您可以简单地使用 collect 在 0 到 min(ports.size(), names.size()) 范围内做同样的事情来创建一个列表 pairs/maps。看看下面的例子：

node {
    stage('Test') {
        def ports = [8080, 8081, 8082, 8083]
        def names = ['Host A', 'Host B', 'Host C', 'Host D', 'Host E']

        def pairs = (0..<Math.min(ports.size(), names.size())).collect { i -> [name: names[i], port: ports[i]] }

        def steps = pairs.collectEntries { pair ->
            ["UI Test on ${pair.name}", {
                sh "echo 'Running test with port ${pair.port}'"
            }]
        }

        parallel steps
    }
}

在此示例中，我们将两个列表转置为一个映射列表，如 [port: ..., name: ...]，然后我们对该映射列表调用 collectEntries 以在同一执行步骤中同时获取端口和名称。运行 Jenkins 管道中的这个脚本产生以下输出：

[Pipeline] {
[Pipeline] stage
[Pipeline] { (Test)
[Pipeline] parallel
[Pipeline] [UI Test on Host A] { (Branch: UI Test on Host A)
[Pipeline] [UI Test on Host B] { (Branch: UI Test on Host B)
[Pipeline] [UI Test on Host C] { (Branch: UI Test on Host C)
[Pipeline] [UI Test on Host D] { (Branch: UI Test on Host D)
[Pipeline] [UI Test on Host A] sh
[UI Test on Host A] [test-pipeline] Running shell script
[Pipeline] [UI Test on Host B] sh
[UI Test on Host B] [test-pipeline] Running shell script
[Pipeline] [UI Test on Host C] sh
[UI Test on Host C] [test-pipeline] Running shell script
[Pipeline] [UI Test on Host D] sh
[UI Test on Host A] + echo Running test with port 8080
[UI Test on Host A] Running test with port 8080
[UI Test on Host B] + echo Running test with port 8081
[UI Test on Host B] Running test with port 8081
[UI Test on Host D] [test-pipeline] Running shell script
[Pipeline] [UI Test on Host A] }
[UI Test on Host C] + echo Running test with port 8082
[UI Test on Host C] Running test with port 8082
[UI Test on Host D] + echo Running test with port 8083
[UI Test on Host D] Running test with port 8083
[Pipeline] [UI Test on Host B] }
[Pipeline] [UI Test on Host C] }
[Pipeline] [UI Test on Host D] }
[Pipeline] // parallel
[Pipeline] }
[Pipeline] // stage
[Pipeline] }
[Pipeline] // node
[Pipeline] End of Pipeline
Finished: SUCCESS

希望对您有所帮助。

在 Groovy 和 Jenkins 管道中组合多个 collectEntries

Combining multiple collectEntries in Groovy and Jenkins Pipeline

groovy

jenkins-groovy

jenkins-pipeline