验证 PyPI Python 包的完整性

Question

最近有一些关于上传到 Python 包索引 (PyPI) 的 恶意库 的消息，请参阅：

Malicious libraries on PyPI
Malicious modules found into official Python repository（这个link包含恶意包列表）
Developers using malicious Python Modules

我不是要转发这些消息，而是要阻止我自己和其他队友识别来自 PyPI 的包是否未被外部更改。

问题：

从 PyPI 下载包后，我应该使用什么安全检查？ MD5 或任何额外步骤？
MD5 签名是否足以验证 Python 包的完整性？

Answer 1

首先，文章描述了错误抢注的危险，这是由开发人员盲目按名称安装包而没有检查它是否是正确的上游包造成的。您可以通过访问作者的 GitHub 存储库并正确复制安装说明来避免这种情况。

除此之外，包裹可以被篡改，但不太可能。由于 PyPI 文件是通过 HTTPS 传输的，因此从服务器获取哈希并验证它没有多大意义。（如果作者账号或PyPI服务器被黑，hash并不能阻止你安装恶意包。）

如果您需要额外的安全措施来防止服务器受到威胁，请使用固定 version/hashes。有关详细信息，请参阅 documentation。

Answer 2

首先，您对使用 pip 从 PyPI 下载时获取恶意文件的担忧是有道理的。事实上，截至 2020 年，它下载的软件的 pip has no way to cryptographically validate the authenticity and integrity（但自 2013 年以来它一直是 TODO 项目）

其次，md5 可以验证文件的完整性，但这样做并不安全。检查完整性也不够。要 安全地 验证从 pip 下载的文件是否是您期望的文件，您必须：

通过确认文件是由发布者 in-fact 制作（使用加密签名）和
下载后验证文件的完整性

虽然 pip 没有 built-in 对此的支持，您可以通过从 PyPI 手动下载您想要的文件及其分离的签名文件来手动完成，然后使用 gpg.

检查签名

例如，可以在 PyPI 的网站上查看 borgbackup 项目：

https://pypi.org/project/borgbackup/

单击“下载文件”按钮可以选择在以下位置下载最新的 tarball URL:

https://files.pythonhosted.org/packages/97/68/27d96a12f54894223ad6676ce4d215ad61771e3e723580f3ee6e609e17b7/borgbackup-1.1.13.tar.gz

或者，您也可以使用 cURL 对 PyPI "simple" API

得到这个 URL

user@disp5066:~$ curl -s https://pypi.org/simple/borgbackup/ | grep -i borgbackup-1.1.13.tar.gz
    <a href="https://files.pythonhosted.org/packages/97/68/27d96a12f54894223ad6676ce4d215ad61771e3e723580f3ee6e609e17b7/borgbackup-1.1.13.tar.gz#sha256=164a8666a61071ce2fa6c60627c7646f12e3a8e74cd38f046be72f5ea91b3821">borgbackup-1.1.13.tar.gz</a><br/>
user@disp5066:~$

要获取此文件的签名，只需将 .asc 附加到 URL:

user@disp5066:~$ wget https://files.pythonhosted.org/packages/97/68/27d96a12f54894223ad6676ce4d215ad61771e3e723580f3ee6e609e17b7/borgbackup-1.1.13.tar.gz.asc
--2020-07-02 07:51:12--  https://files.pythonhosted.org/packages/97/68/27d96a12f54894223ad6676ce4d215ad61771e3e723580f3ee6e609e17b7/borgbackup-1.1.13.tar.gz.asc
Resolving files.pythonhosted.org (files.pythonhosted.org)... 151.101.37.63, 2a04:4e42:9::319
Connecting to files.pythonhosted.org (files.pythonhosted.org)|151.101.37.63|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 862 [application/octet-stream]
Saving to: ‘borgbackup-1.1.13.tar.gz.asc’

borgbackup-1.1.13.t 100%[===================>]     862  --.-KB/s    in 0s      

2020-07-02 07:51:14 (37.2 MB/s) - ‘borgbackup-1.1.13.tar.gz.asc’ saved [862/862]

user@disp5066:~$ cat borgbackup-1.1.13.tar.gz.asc 
-----BEGIN PGP SIGNATURE-----

iQJHBAABCgAxFiEEL4Gv+6sE4R/o7mXUJDrPqVH3jgEFAl7cGqwTHHR3QHdhbGRt
YW5uLWVkdi5kZQAKCRAkOs+pUfeOAd9ND/4nm2O7CK5a4aK41jAI1NisbgEtEJup
SiD6bvMKpo3VU0P/3Y6pUibKOGzaRImBTB04qS3LlgjB0mCp1RSVsj/Hn+yCNw+k
hfUH7E7JgAkq96Vkv1dcYgaJ9nhzuIAkEf0aDyzSo8HkBvGGN0/tfCQ7Nr7hI21u
v5qupIyu7KZrBwY389l7+6yJ9G5qCtHU0fDALRYyjsX+WphrAaizrhFZJO7Km8VZ
gZhAz3WUDPFwgNMb1mToUxpI2ZpnYnRxVBwjnX0Ps77ua4F5OsYM+hYwH5eX9bS9
gmb+W3NjUNjVVj4z+OgN8FGbCTeFVQ6E+IVdm55D4ZRU8KarvFoKOI7HS4GP/3iv
4iWqDaYBMRShnUTk1FKFCKjTb5tXewUGPwio+4bpgUyfJj0OWj1ecMqeF5VAslWz
6pZnsUqLpTFuHUA6dr18TKX4U+c6rdXVM7BhNZe2XtjaQwau6Wz9nC1xhZyFNl1q
CHY7jmLhsfP8GXkh31X9bJrKSZMyYRYat2e7kOroIJczRcHG9T708T+KzsfAb+6w
pWZbfWNfCbCmVQehyhDvNepB3IB5w6ijrZwKTamHAnYBVkAUD/aYwDQJf4nAL4YI
7JXBRpLlCVQGRUQdClqy8QjzpSZs5/Dbetvy5of753JbVjFQtGO2gLLp0wL0HB0v
vIZv3dfBDvfcXQ==
=F4gj
-----END PGP SIGNATURE-----
user@disp5066:~$

Pip 也无法将用于签署包的 gpg 密钥标记为“官方”密钥，因此您必须希望作者已经在几个不同的域中发布了他们的密钥，以便您可以获取它 out-of-band 几种方法来确认它是正确的然后导入它并信任它。之后，您可以使用gpg来验证从PyPI下载的文件的签名。

gpg --verify borgbackup-1.1.13.tar.gz.asc

另请参阅：

验证 PyPI Python 包的完整性

Verifying the integrity of PyPI Python packages

python

security

pypi

python-2.7

python-3.x