pytest/unittest: mock.patch 来自模块的函数？

Question

给定这样的文件夹结构：

dags/
  **/
    code.py
tests/
  dags/
    **/
      test_code.py
  conftest.py

其中 dags 作为 src 文件的根，'dags/a/b/c.py' 导入为 'a.b.c'。

我想在 code.py 中测试以下功能：

from dag_common.connections import get_conn
from utils.database import dbtypes

def select_records(
    conn_id: str,
    sql: str,
    bindings,
):
    conn: dbtypes.Connection = get_conn(conn_id)
    with conn.cursor() as cursor:
        cursor.execute(
            sql, bindings
        )
        records = cursor.fetchall()
    return records

但是我遇到了一个问题，我无法找到从 dag_common.connections 修补 get_conn 的方法。我尝试了以下操作：

(1) 全球 conftest.py

import os
import sys

# adds dags to sys.path for tests/*.py files to be able to import them
sys.path.append(os.path.join(os.path.dirname(__file__), "..", "dags"))

{{fixtures}}

我测试了 {{fixtures}} 的以下替换：

(1.a) - 默认

@pytest.fixture(autouse=True, scope="function")
def mock_get_conn():
    with mock.patch("dag_common.connections.get_conn") as mock_getter:
        yield mock_getter

(1.b) - 在路径前加上 dags

@pytest.fixture(autouse=True, scope="function")
def mock_get_conn():
    with mock.patch("dags.dag_common.connections.get_conn") as mock_getter:
        yield mock_getter

(1.c) - 1.a，范围=“会话”

(1.d) - 1.b，范围=“会话”

(1.e) - 修补模块本身的对象

@pytest.fixture(autouse=True, scope="function")
def mock_get_conn():
    import dags.dag_common.connections
    mock_getter = mock.MagicMock()
    with mock.patch.object(dags.dag_common.connections, 'get_conn', mock_getter):
        yield mock_getter

(1.f) - 1.a，但使用 pytest-mock fixture

@pytest.fixture(autouse=True, scope="function")
def mock_get_conn(mocker):
    with mocker.patch("dag_common.connections.get_conn") as mock_getter:
        yield mock_getter

(1.g) - 1.b，但使用 pytest-mock fixture

(1.h) - 1.a，但使用 pytest 的 monkeypatch

@pytest.fixture(autouse=True, scope="function")
def mock_get_conn(mocker, monkeypatch):
    import dags.dag_common.connections
    mock_getter = mocker.MagicMock()
    monkeypatch.setattr(dags.dag_common.connections, 'get_conn', mock_getter)
    yield mock_getter

(2) 在装饰器 test/as 中局部应用 mock.patch

(2.a) - 装饰器@mock.patch("dag_common.connections.get_conn")

    @mock.patch("dag_common.connections.get_conn")
    def test_executes_sql_with_default_bindings(mock_getter, mock_context):
        # arrange
        sql = "SELECT * FROM table"
        records = [RealDictRow(col1=1), RealDictRow(col1=2)]
        mock_conn = mock_getter.return_value
        mock_cursor = mock_conn.cursor.return_value
        mock_cursor.execute.return_value = records
        # act
        select_records(conn_id="orca", sql=sql, ) # ...
        # assert
        mock_cursor.execute.assert_called_once_with(
            sql, # ...
        )

(2.b) - (2.a) 但带有“dags”。前缀

(2.c) - 上下文管理器

    def test_executes_sql_with_default_bindings(mock_context):
        # arrange
        sql = "SELECT * FROM table"
        records = [RealDictRow(col1=1), RealDictRow(col1=2)]
        with mock.patch("dag_common.connections.get_conn") as mock_getter:
            mock_conn = mock_getter.return_value
            mock_cursor = mock_conn.cursor.return_value
            mock_cursor.execute.return_value = records
            # act
            select_records(conn_id="orca", sql=sql, ) # ...
            # assert
            mock_cursor.execute.assert_called_once_with(
                sql, # ...
            )

(2.d) - (2.c) 但带有“dags”。前缀

结论

但是，唉，无论我选择什么解决方案，要模拟的函数仍然会被调用。我确保分别尝试每个解决方案，并在尝试之间 kill/clear/restart 我的 pytest-watch 过程。

我觉得这可能与我在conftest.py中干预sys.path有关，因为除此之外我觉得我已经用尽了所有可能性。

知道如何解决这个问题吗？

Answer 1

是的。当我学习打补丁和模拟时，我最初也曾与此作斗争，并且知道当你似乎做对了所有事情时它是多么令人沮丧，但它不起作用。我很同情你！

这实际上是模拟导入的东西的工作原理，一旦你意识到它，它实际上就有意义了。

问题在于导入的工作方式是使导入的模块在导入所在的上下文中可用。

让我们假设您的 code.py 模块在 'my_package' 文件夹中。您的代码随后可用 my_package.code。一旦你在 code 模块中使用 from dag_common.connections import get_conn - 导入的 get_conn 就可以作为.... my_package.code.get_conn

在这种情况下，您需要修补 my_package.code.get_conn 而不是您从中导入 get_conn 的原始包。

一旦你意识到这一点，修补就会变得容易得多。

pytest/unittest: mock.patch 来自模块的函数？

pytest/unittest: mock.patch function from module?

python

mocking

pytest

python-unittest

(1) 全球 conftest.py

(2) 在装饰器 test/as 中局部应用 mock.patch

结论