将 confluent-kafka python 库与 AWS lambda 一起使用时出错
Error while using confluent-kafka python library with AWS lambda
我正在尝试使用 confluent-kafka python 库通过 lambda 函数管理我的集群,但该函数失败并出现错误:
"Unable to import module 'Test': No module named 'confluent_kafka.cimpl'"
我的requirements.txt
requests
confluent-kafka
为了创建 zip 文件,我将我的代码移动到虚拟环境的站点包位置并压缩了所有内容。
Python代码:
import confluent_kafka.admin
import requests
def lambda_handler(event, context):
print("Hello World")
我正在使用macOS10.X。在 Linux 上,我注意到 pip install 创建了一个单独的 confluent_kafka.libs,它不会在 mac
上创建
我创建了所需的层并且可以证实它有效。
使用的技术包括 docker 工具 在最近的 AWS 博客:
中描述
所以对于这个问题,我验证如下:
创建空文件夹,例如mylayer
.
转到文件夹并创建 requirements.txt
文件,内容为
echo requests > requirements.txt
echo confluent-kafka >> requirements.txt
- 运行 以下 docker 命令:
docker run -v "$PWD":/var/task "lambci/lambda:build-python3.8" /bin/sh -c "pip install -r requirements.txt -t python/lib/python3.8/site-packages/; exit"
- 将图层创建为 zip:
zip -r mylayer.zip python > /dev/null
在 AWS 控制台中基于 mylayer.zip
创建 lambda 层。不要忘记将 Compatible runtimes
指定为 python3.8
。
使用以下 lambda 函数在 lambda 中测试层:
import confluent_kafka.admin
import requests
def lambda_handler(event, context):
print(dir(confluent_kafka.admin))
print(dir(requests))
print("Hello World")
函数正确执行:
['AdminClient', 'BrokerMetadata', 'CONFIG_SOURCE_DEFAULT_CONFIG', 'CONFIG_SOURCE_DYNAMIC_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_DEFAULT_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_TOPIC_CONFIG', 'CONFIG_SOURCE_STATIC_BROKER_CONFIG', 'CONFIG_SOURCE_UNKNOWN_CONFIG', 'ClusterMetadata', 'ConfigEntry', 'ConfigResource', 'ConfigSource', 'Enum', 'KafkaException', 'NewPartitions', 'NewTopic', 'PartitionMetadata', 'RESOURCE_ANY', 'RESOURCE_BROKER', 'RESOURCE_GROUP', 'RESOURCE_TOPIC', 'RESOURCE_UNKNOWN', 'TopicMetadata', '_AdminClientImpl', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'concurrent', 'functools']
['ConnectTimeout', 'ConnectionError', 'DependencyWarning', 'FileModeWarning', 'HTTPError', 'NullHandler', 'PreparedRequest', 'ReadTimeout', 'Request', 'RequestException', 'RequestsDependencyWarning', 'Response', 'Session', 'Timeout', 'TooManyRedirects', 'URLRequired', '__author__', '__author_email__', '__build__', '__builtins__', '__cached__', '__cake__', '__copyright__', '__description__', '__doc__', '__file__', '__license__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__title__', '__url__', '__version__', '_check_cryptography', '_internal_utils', 'adapters', 'api', 'auth', 'certs', 'chardet', 'check_compatibility', 'codes', 'compat', 'cookies', 'delete', 'exceptions', 'get', 'head', 'hooks', 'logging', 'models', 'options', 'packages', 'patch', 'post', 'put', 'request', 'session', 'sessions', 'ssl', 'status_codes', 'structures', 'urllib3', 'utils', 'warnings']
Hello World
即使在正确设置图层后我也点击了这个。我能够通过将层和函数设置为使用架构 x86_64
来解决这个问题
我正在尝试使用 confluent-kafka python 库通过 lambda 函数管理我的集群,但该函数失败并出现错误:
"Unable to import module 'Test': No module named 'confluent_kafka.cimpl'"
我的requirements.txt
requests
confluent-kafka
为了创建 zip 文件,我将我的代码移动到虚拟环境的站点包位置并压缩了所有内容。
Python代码:
import confluent_kafka.admin
import requests
def lambda_handler(event, context):
print("Hello World")
我正在使用macOS10.X。在 Linux 上,我注意到 pip install 创建了一个单独的 confluent_kafka.libs,它不会在 mac
上创建我创建了所需的层并且可以证实它有效。
使用的技术包括 docker 工具 在最近的 AWS 博客:
中描述所以对于这个问题,我验证如下:
创建空文件夹,例如
mylayer
.转到文件夹并创建
requirements.txt
文件,内容为
echo requests > requirements.txt
echo confluent-kafka >> requirements.txt
- 运行 以下 docker 命令:
docker run -v "$PWD":/var/task "lambci/lambda:build-python3.8" /bin/sh -c "pip install -r requirements.txt -t python/lib/python3.8/site-packages/; exit"
- 将图层创建为 zip:
zip -r mylayer.zip python > /dev/null
在 AWS 控制台中基于
mylayer.zip
创建 lambda 层。不要忘记将Compatible runtimes
指定为python3.8
。使用以下 lambda 函数在 lambda 中测试层:
import confluent_kafka.admin
import requests
def lambda_handler(event, context):
print(dir(confluent_kafka.admin))
print(dir(requests))
print("Hello World")
函数正确执行:
['AdminClient', 'BrokerMetadata', 'CONFIG_SOURCE_DEFAULT_CONFIG', 'CONFIG_SOURCE_DYNAMIC_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_DEFAULT_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_TOPIC_CONFIG', 'CONFIG_SOURCE_STATIC_BROKER_CONFIG', 'CONFIG_SOURCE_UNKNOWN_CONFIG', 'ClusterMetadata', 'ConfigEntry', 'ConfigResource', 'ConfigSource', 'Enum', 'KafkaException', 'NewPartitions', 'NewTopic', 'PartitionMetadata', 'RESOURCE_ANY', 'RESOURCE_BROKER', 'RESOURCE_GROUP', 'RESOURCE_TOPIC', 'RESOURCE_UNKNOWN', 'TopicMetadata', '_AdminClientImpl', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'concurrent', 'functools']
['ConnectTimeout', 'ConnectionError', 'DependencyWarning', 'FileModeWarning', 'HTTPError', 'NullHandler', 'PreparedRequest', 'ReadTimeout', 'Request', 'RequestException', 'RequestsDependencyWarning', 'Response', 'Session', 'Timeout', 'TooManyRedirects', 'URLRequired', '__author__', '__author_email__', '__build__', '__builtins__', '__cached__', '__cake__', '__copyright__', '__description__', '__doc__', '__file__', '__license__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__title__', '__url__', '__version__', '_check_cryptography', '_internal_utils', 'adapters', 'api', 'auth', 'certs', 'chardet', 'check_compatibility', 'codes', 'compat', 'cookies', 'delete', 'exceptions', 'get', 'head', 'hooks', 'logging', 'models', 'options', 'packages', 'patch', 'post', 'put', 'request', 'session', 'sessions', 'ssl', 'status_codes', 'structures', 'urllib3', 'utils', 'warnings']
Hello World
即使在正确设置图层后我也点击了这个。我能够通过将层和函数设置为使用架构 x86_64
来解决这个问题