如果关键字没有失败,则在固定时间内重复执行关键字而不会失败

Repeatedly execute a keyword for a fixed time without failing if keyword does not fail

在我当前的项目中,我需要检查一个相当复杂的嵌入式系统的以太网连接的稳定性。我们正在使用 Robot Framework 来执行我们的测试用例。现在我想在固定的时间内 ping 设备并写了一个这样的测试用例。

Ping Device
    [Timeout]  1 hour
    FOR   ${i}  IN RANGE  9999999
      Run Keyword And Continue On Failure   Ping Host  192.168.1.100
    END

测试应该 运行 1 小时并且应该失败,如果至少有一个 ping 失败。不过,它不应该中止查看在多少情况下 ping 失败。不幸的是,由于超时,测试也失败了,这似乎是 Robot Framework 理智和期望的行为,不应该像我那样被滥用。

如何,我仍然可以重复执行一个关键字恰好一个小时,并且只有在关键字至少失败一次时才会失败?

要运行某个关键字一段时间,您应该使用用户指南中的Repeat Keyword. Mind that it will generate a lot of logs so I suggest checking Removing and flattening keywords章节。

现在,如果一次迭代失败,要使测试失败,我建议在用户关键字中使用 Run Keyword And Return Status,它将任何失败存储在一个测试变量中,您可以使用该变量使您的测试用例整体失败。

这里有一个快乐和不快乐的例子,每个关键字 运行 5 秒。

*** Test Cases ***
Test OK
    Set Test Variable    ${OVERALL RESULT}    True
    Repeat Keyword    5 sec    Run Keyword And Store Failure   Sleep    1 sec    reason=test
    Run Keyword If    ${OVERALL RESULT} == False    Fail    over all fail
    
Test NOK
    Set Test Variable    ${OVERALL RESULT}    True
    Repeat Keyword    5 sec    Run Keyword And Store Failure   Fail    test
    Run Keyword If    ${OVERALL RESULT} == False    Fail    over all fail
    
Test With Random Failures In It
    Set Test Variable    ${OVERALL RESULT}    True
    Repeat Keyword    5 sec    Run Keyword And Store Failure   Fail Randomly
    Run Keyword If    ${OVERALL RESULT} == False    Fail    over all fail
    
*** Keyword ***
Run Keyword And Store Failure
    [arguments]    ${keyword}    @{args}
    ${status}=    Run Keyword And Return Status    ${keyword}    @{args}
    Run Keyword If    ${status} == False    Set Test Variable    ${OVERALL RESULT}    False

Fail Randomly
    ${numbers}=    Evaluate    random.sample(range(1, 200), 4)    random
    Run Keyword If    ${numbers}[0]%2 != 0    Fail     fail  randomly
    Sleep    1 sec     reason=reduce log lines