pytest-cov 如何报告因 pexpect.spawn 而执行的 python 代码的覆盖率？

Question

我有一个 Python 项目，它使用 pytest-cov 进行单元测试和代码覆盖率测量。

我项目的目录结构是：

rift-python
+- rift                        # The package under test
|  +- __init__.py
|  +- __main__.py
|  +- cli_listen_handler.py
|  +- cli_session_handler.py
|  +- table.py
|  +- ...lots more...
+- tests                       # The tests 
|  +- test_table.py
|  +- test_sys_2n_l0_l1.py
|  +- ...more...
+- README.md
+- .travis.yml
+- ...

我使用 Travis 来运行 pytest --cov=rift tests 每次签入，我使用 codecov 查看代码覆盖率结果。

被测包提供了一个命令行界面 (CLI)，它从标准输入读取命令并在标准输出上产生输出。它以 python rift.

开头

测试目录包含两种类型的测试。

第一类测试是测试个人的传统单元测试class。例如，测试 test_table.py 导入 table.py，并执行传统的 pytest 测试（使用 assert 等）代码覆盖率测量对这些测试按预期工作：codecov 准确地报告 rift 包中的哪些行是或是不在测试范围内。

# test_table.py (codecov works)

import table

def test_simple_table():
    tab = table.Table()
    tab.add_row(['Animal', 'Legs'])
    tab.add_rows([['Ant', 6]])
    ...
    tab_str = tab.to_string()
    assert (tab_str == "+--------+------+\n"
                       "| Animal | Legs |\n"
                       "+--------+------+\n"
                       "| Ant    | 6    |\n"
                       "+--------+------+\n"
                       ...
                       "+--------+------+\n")

第二种测试使用pexpect：它使用pexpect.spawn("python rift")启动rift包。然后它使用 pexpect.sendline 将命令注入 CLI (stdin)，并使用 pexpect.expect 检查 CLI (stdout) 上命令的输出。测试功能运行良好，但 codecov 未报告这些测试的代码覆盖率。

# test_sys_2n_l0_l1.py (codecov does not pick up coverage of rift package)
# Greatly simplified example

import pexpect

def test_basic():
    rift = pexpect.spawn("python rift")
    rift.sendline("cli command")
    rift.expect("expected output")  # Throws exception if expected output not seen

问题：如何使用 pexpect 获取代码覆盖率测量值以报告生成的裂谷包中的覆盖线以用于第二类测试？

注意：我省略了几个我认为不相关的细节，完整的源代码在 https://github.com/brunorijsman/rift-python（更新：这个 repo 现在包含答案中建议的工作解决方案）

Answer 1

使用 coverage run 到运行您的预期程序并收集数据：

如果你经常这样做：

pexpect.spawn("python rift")

然后改为：

pexpect.spawn("coverage run rift.py")

(Source)

测试后，您可能希望将预期结果与 "regular" 单元测试结果结合起来。 coverage.py 可以将多个文件合二为一进行报告。

一旦你创建了一些这样的文件，你可以将它们全部复制到一个目录中，然后使用 combine 命令将它们组合成一个 .coverage 数据文件：

$ coverage combine

(Source)

来自测试的两个额外细节：

在这个例子的测试程序（test_sys_2n_l0_l1.py）中，你必须确保在你终止pexpect spawn的那一刻和你终止测试的那一刻之间有一个延迟本身。否则，coverage 将没有时间将结果写入 .coverage。我添加了一个 sleep(1.0).
已使用 "coverage run --parallel-mode rift"。这是为了 (a) 确保 .coverage 不会被后来的运行s 覆盖和 (b) 使 "coverage combine" 工作（"pytest --cov" 自动运行）

Answer 2

您基本上必须启用 subprocess coverage tracking。

我建议使用 https://pypi.org/project/coverage_enable_subprocess/ 来轻松启用此功能。

那么使用parallel = 1就是recommended/required，你必须导出COVERAGE_PROCESS_START，例如export COVERAGE_PROCESS_START="$PWD/.coveragerc".

pytest-cov 如何报告因 pexpect.spawn 而执行的 python 代码的覆盖率？

How can pytest-cov report coverage of python code that is executed as a result of pexpect.spawn?

python

unit-testing

pexpect

pytest

pytest-cov