使用 jMeter 进行功能性端到端测试

Question

我们正在使用 JMeter 对 GraphQL API 进行 e2e 测试，但存在一些问题，即只有 GUI 向我们显示测试结果，当从控制台运行ning 时，没有任何用处 "test summary" 可见，并且 jMeter 总是以“0”退出代码退出，向我们的 CI.

指示 "success"

我复制了下面包含的一个最小示例以表明我正在尝试做什么：

使用 HTTP 采样器向 JSON API
在结果上做一个"JSON Assertion"
使用 bean shell 侦听器

我的目标是将类似 "View Results Tree" 的内容作为 passed/failed 摘要打印到 jMeter 运行所在的控制台，或者将其写入文件。

我们的测试使用带有 JSON 断言的简单 HTTP 采样器，我的目标是尝试使用 Bean Shell 侦听器并检查是否有任何采样器或 JSON 断言有错误, 在任何一种情况下都写入文件。

<?xml version="1.0" encoding="UTF-8"?>
<jmeterTestPlan version="1.2" properties="4.0" jmeter="4.0 r1823414">
<hashTree>
    <TestPlan guiclass="TestPlanGui" testclass="TestPlan" testname="Test Plan" enabled="true">
    <stringProp name="TestPlan.comments"></stringProp>
    <boolProp name="TestPlan.functional_mode">false</boolProp>
    <boolProp name="TestPlan.tearDown_on_shutdown">true</boolProp>
    <boolProp name="TestPlan.serialize_threadgroups">false</boolProp>
    <elementProp name="TestPlan.user_defined_variables" elementType="Arguments" guiclass="ArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
        <collectionProp name="Arguments.arguments"/>
    </elementProp>
    <stringProp name="TestPlan.user_define_classpath"></stringProp>
    </TestPlan>
    <hashTree>
    <ThreadGroup guiclass="ThreadGroupGui" testclass="ThreadGroup" testname="Thread Group" enabled="true">
        <stringProp name="ThreadGroup.on_sample_error">continue</stringProp>
        <elementProp name="ThreadGroup.main_controller" elementType="LoopController" guiclass="LoopControlPanel" testclass="LoopController" testname="Loop Controller" enabled="true">
        <boolProp name="LoopController.continue_forever">false</boolProp>
        <stringProp name="LoopController.loops">1</stringProp>
        </elementProp>
        <stringProp name="ThreadGroup.num_threads">1</stringProp>
        <stringProp name="ThreadGroup.ramp_time">1</stringProp>
        <boolProp name="ThreadGroup.scheduler">false</boolProp>
        <stringProp name="ThreadGroup.duration"></stringProp>
        <stringProp name="ThreadGroup.delay"></stringProp>
    </ThreadGroup>
    <hashTree>
        <HTTPSamplerProxy guiclass="HttpTestSampleGui" testclass="HTTPSamplerProxy" testname="HTTP Request" enabled="true">
        <elementProp name="HTTPsampler.Arguments" elementType="Arguments" guiclass="HTTPArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
            <collectionProp name="Arguments.arguments"/>
        </elementProp>
        <stringProp name="HTTPSampler.domain">jsonplaceholder.typicode.com</stringProp>
        <stringProp name="HTTPSampler.port"></stringProp>
        <stringProp name="HTTPSampler.protocol">https</stringProp>
        <stringProp name="HTTPSampler.contentEncoding"></stringProp>
        <stringProp name="HTTPSampler.path">/posts/1</stringProp>
        <stringProp name="HTTPSampler.method">GET</stringProp>
        <boolProp name="HTTPSampler.follow_redirects">true</boolProp>
        <boolProp name="HTTPSampler.auto_redirects">false</boolProp>
        <boolProp name="HTTPSampler.use_keepalive">true</boolProp>
        <boolProp name="HTTPSampler.DO_MULTIPART_POST">false</boolProp>
        <stringProp name="HTTPSampler.embedded_url_re"></stringProp>
        <stringProp name="HTTPSampler.connect_timeout"></stringProp>
        <stringProp name="HTTPSampler.response_timeout"></stringProp>
        </HTTPSamplerProxy>
        <hashTree/>
        <JSONPathAssertion guiclass="JSONPathAssertionGui" testclass="JSONPathAssertion" testname="JSON Assertion" enabled="true">
        <stringProp name="JSON_PATH">$.userID</stringProp>
        <stringProp name="EXPECTED_VALUE"></stringProp>
        <boolProp name="JSONVALIDATION">false</boolProp>
        <boolProp name="EXPECT_NULL">false</boolProp>
        <boolProp name="INVERT">false</boolProp>
        <boolProp name="ISREGEX">true</boolProp>
        </JSONPathAssertion>
        <hashTree/>
    </hashTree>
    <BeanShellListener guiclass="TestBeanGUI" testclass="BeanShellListener" testname="BeanShell Listener" enabled="true">
        <boolProp name="resetInterpreter">false</boolProp>
        <stringProp name="parameters"></stringProp>
        <stringProp name="filename"></stringProp>
        <stringProp name="script"></stringProp>
    </BeanShellListener>
    <hashTree/>
    </hashTree>
</hashTree>
</jmeterTestPlan>

我尝试了一个包含以下内容的 Bean Shell 侦听器，但我没有在 Bean Shell 可用的 variables/context 中找到 JSON 断言结果听众.

import org.apache.jmeter.services.FileServer;

// Open File(s)
f = new FileOutputStream(FileServer.getFileServer().getBaseDir()+"/results.txt", true); 
p = new PrintStream(f); 

// Write data to file 
p.println( "sampleResult " + sampleResult.toString() + ": " + sampleResult.isSuccessful() );
p.println( "sampleEvent  " + sampleEvent.toString());
p.println( "prev  " + prev.toString());
p.println( "props  " + props.toString());
p.println( "ctx  " + ctx.toString());
p.println( "vars  " + vars.toString());

// Close File(s)
p.close();f.close();

我们不是 Java 商店，我们使用 GitLab/etc 作为我们的 CI，理想的情况是能够运行我们的 jMeter 测试控制台，并查看输出摘要，就像在对脚本语言或类似语言进行单元测试时看到的那样，其中包含通过和失败测试的 red/green 摘要。

Answer 1

请注意 JMeter 3.1 it is recommended to use JSR223 Test Elements for any form of scripting. So I would suggest switching to JSR223 Listener。
您可以访问AssertionResults as prev.getAssertionResults()

Groovy SDK 可以更轻松地处理文件，因此您可以使用类似的东西：

def results = new File('results.txt')
def newLine = System.getProperty('line.separator')
results << 'Sampler Name: ' + prev.getSampleLabel() + ' Successful: ' + prev.isSuccessful() 
if (!prev.isSuccessful()) {
    prev.getAssertionResults().each {assertionResult ->
        results << ' Error message: ' << assertionResult.failureMessage << newLine
    }
}

为了获得以下形式的输出：

Sampler Name: HTTP Request Successful: false Error message: No results for path: $['userID']

有关 JMeter 中 Groovy 脚本的详细信息，请参阅 Apache Groovy - Why and How You Should Use It 文章。

您还可以考虑运行您的测试使用 Taurus tool which provides real-time console reporting and powerful Pass/Fail Criteria subsystem，您可以在其中指定阈值和当它们是 hit/exceeded 时要采取的操作。因此，您可以将 Taurus 配置为在出现故障时以 non-zero 代码退出，可用于脚本或持续集成。

使用 jMeter 进行功能性端到端测试

Using jMeter for functional e2e testing

jmeter

functional-testing

beanshell

e2e-testing