配置不当：加载 psycopg2 模块时出错：没有名为 'psycopg2._psycopg' zappa 的模块

Question

我正在使用 zappa 将后端部署到 AWS Lambda。它运行良好，直到我决定使用 PostgreSQL。我在这样的设置中添加了它：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': config('DATABASE_NAME'),
        'USER': config('DATABASE_USER'),
        'PASSWORD': config('DATABASE_PASSWORD'),
        'HOST': config('DATABASE_HOST'),
        'PORT': '5432'
    }
}

我正在使用 AWS RDS。我安装了 psycopg2-binary 和 psycopg2（版本 2.8.6），但问题仍然存在。 python 版本是 3.8.

完整的错误日志：

   [1621168086542] [ERROR] ImproperlyConfigured: Error loading psycopg2 module: No module named 'psycopg2._psycopg'
Traceback (most recent call last):
  File "/var/task/handler.py", line 609, in lambda_handler
    return LambdaHandler.lambda_handler(event, context)
  File "/var/task/handler.py", line 240, in lambda_handler
    handler = cls()
  File "/var/task/handler.py", line 146, in __init__
    wsgi_app_function = get_django_wsgi(self.settings.DJANGO_SETTINGS)
  File "/var/task/zappa/ext/django_zappa.py", line 20, in get_django_wsgi
    return get_wsgi_application()
  File "/var/task/django/core/wsgi.py", line 12, in get_wsgi_application
    django.setup(set_prefix=False)
  File "/var/task/django/__init__.py", line 24, in setup
    apps.populate(settings.INSTALLED_APPS)
  File "/var/task/django/apps/registry.py", line 114, in populate
    app_config.import_models()
  File "/var/task/django/apps/config.py", line 211, in import_models
    self.models_module = import_module(models_module_name)
  File "/var/lang/lib/python3.8/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 783, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/var/task/django/contrib/auth/models.py", line 2, in <module>
    from django.contrib.auth.base_user import AbstractBaseUser, BaseUserManager
  File "/var/task/django/contrib/auth/base_user.py", line 48, in <module>
    class AbstractBaseUser(models.Model):
  File "/var/task/django/db/models/base.py", line 122, in __new__
    new_class.add_to_class('_meta', Options(meta, app_label))
  File "/var/task/django/db/models/base.py", line 326, in add_to_class
    value.contribute_to_class(cls, name)
  File "/var/task/django/db/models/options.py", line 206, in contribute_to_class
    self.db_table = truncate_name(self.db_table, connection.ops.max_name_length())
  File "/var/task/django/db/__init__.py", line 28, in __getattr__
    return getattr(connections[DEFAULT_DB_ALIAS], item)
  File "/var/task/django/db/utils.py", line 214, in __getitem__
    backend = load_backend(db['ENGINE'])
  File "/var/task/django/db/utils.py", line 111, in load_backend
    return import_module('%s.base' % backend_name)
  File "/var/lang/lib/python3.8/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "/var/task/django/db/backends/postgresql/base.py", line 29, in <module>
    raise ImproperlyConfigured("Error loading psycopg2 module: %s" % e)

Answer 1

您可以为 AWS Lambda 使用自定义编译的 psycopg2 库 aws-psycopg2。

Answer 2

（可能的）问题是您正在 MacOS 上构建 lambda .zip 程序包。当您部署 lambda 函数时，它是 Linux 环境中的运行（具体来说，AWS 的 Linux2 环境）。 psycopg2-binary 对于 MacOS 和 Linux 环境是不同的，所以如果你在 Mac 然后部署到 lambda 你会遇到上面提到的问题。

您需要在 AWS Linux 容器中构建您的 lambda 函数。这是一个 Dockerfile，您可以使用它来创建一个容器，您可以在其中安装 psycopg2-binary 并构建您的 lambda zip 包。然后一切都应该工作：

FROM amazonlinux:2.0.20200207.1

RUN cd /opt && \
    yum install -y gcc openssl-devel bzip2-devel libffi-devel wget tar gzip make && \
    wget https://www.python.org/ftp/python/3.8.2/Python-3.8.2.tgz && \
    tar xzf Python-3.8.2.tgz && \
    cd Python-3.8.2 && \
    ./configure --enable-optimizations && \
    make altinstall && \
    rm -f /opt/Python-3.8.2.tgz && \
    echo "alias python3=python3.8" > ~/.bashrc

注意 amaonzonlinux:2.0 操作系统，然后我将 python 3.8.2 安装到环境中（如果需要，您可以使用不同版本的 python）。从那里你可以复制你的代码并构建你的 lambda .zip 包并部署到 lambda。

Answer 3

我使用 zappa==0.53.0 和 django==3.2.5 在 macOS Big Sur 上构建了我的 lambda 包。我升级到 psycopg2-binary==2.9.1 后开始收到此错误。回滚到 psycopg2-binary==2.8.6 为我解决了这个问题。

Answer 4

尽管我已经成功使用 psycopg2-binary 很长时间了，但最近还是出现了同样的问题。我发现了以下使用 lambda 层的解决方法，这似乎朝着良好的未来证明方向发展：

在您的 zappa 配置中，添加以下行：

"layers": ["arn:aws:lambda:<region>:<account_id>:layer:<layer_name>:<layer_version>"]

引用此 repo 中提供的其中一层（这取决于您的 AWS 区域和 Python 版本）并从您的环境中删除 psycopg2-binary。

一个额外的好处是它还可以减少您的包裹尺寸。

Answer 5

我安装了 aws-psycopg2 (1.2.1) 来解决每次执行 post 请求时从 AWS 收到的 500 错误。

注意： 我保留了 psycopg2 (2.9.1) 以便我的本地应用程序仍然可以运行。

我有一个 Flask 应用程序 (python 3.8) 通过 Zappa 部署到 AWS lambda。我的应用程序的本地版本和托管版本都连接到 AWS RDS PostgreSQL 数据库。尽量避免使用 docker 容器来使我的堆栈尽可能简单。

Answer 6

披露：我是创作者。

用于构建和部署 Zappa 项目的 recommended 来自类似于 AWS Lambda 的 Docker 容器。
您的部署不起作用的原因是 Zappa 在将其推送到 AWS Lambda 之前构建了所有依赖项。然而，它是为您的计算机构建的，它的运行方式与 AWS Lambda 不同。
有一个简单的 python 程序包，它将在类似于 AWS Lambda 使用的 Docker 容器中启动您的终端。
结帐 https://pypi.org/project/zappadock/ .

配置不当：加载 psycopg2 模块时出错：没有名为 'psycopg2._psycopg' zappa 的模块

ImproperlyConfigured: Error loading psycopg2 module: No module named 'psycopg2._psycopg' zappa

python

django

postgresql

zappa

python-zappa