BertTokenizer.from_pretrained 错误 "Connection error"

Question

我正在尝试为 BERT 从 Huggingface 下载分词器。

我正在执行：

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

错误：

<Path>\tokenization_utils_base.py in from_pretrained(cls, pretrained_model_name_or_path, *init_inputs, **kwargs)
   1663                         resume_download=resume_download,
   1664                         local_files_only=local_files_only,
-> 1665                         use_auth_token=use_auth_token,
   1666                     )
   1667 

<Path>\file_utils.py in cached_path(url_or_filename, cache_dir, force_download, proxies, resume_download, user_agent, extract_compressed_file, force_extract, use_auth_token, local_files_only)
   1140             user_agent=user_agent,
   1141             use_auth_token=use_auth_token,
-> 1142             local_files_only=local_files_only,
   1143         )
   1144     elif os.path.exists(url_or_filename):

<Path>\file_utils.py in get_from_cache(url, cache_dir, force_download, proxies, etag_timeout, resume_download, user_agent, use_auth_token, local_files_only)
   1347                 else:
   1348                     raise ValueError(
-> 1349                         "Connection error, and we cannot find the requested files in the cached path."
   1350                         " Please try again or make sure your Internet connection is on."
   1351                     )

ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.

基于 github in huggingface's repo, I gather that the file that the above call wants to download is: https://huggingface.co/bert-base-uncased/resolve/main/config.json

上的类似讨论

虽然我可以在我的浏览器上很好地访问那个 json 文件，但我无法通过请求下载它。我得到的错误是：

>> import requests as r
>> r.get('https://huggingface.co/bert-base-uncased/resolve/main/config.json')
...
requests.exceptions.SSLError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /bert-base-uncased/resolve/main/config.json (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

在检查页面证书时 - https://huggingface.co/bert-base-uncased/resolve/main/config.json，我发现它是由我的 IT 部门签署的，而不是我希望找到的标准 CA 根。根据讨论 here，SSL 代理似乎可以做这样的事情。

我的 IT 部门的证书在受信任的机构列表中。但是 requests 似乎没有考虑信任证书的列表。

从中得到启发，我还尝试使用为 huggingface 显示的 ROOT 证书追加 cacert.pem（curl-config --ca 指向的文件）并添加路径这个 pem 到 REQUESTS_CA_BUNDLE

export REQUESTS_CA_BUNDLE=/mnt/<path>/wsl-anaconda/ssl/cacert.pem

但一点用也没有。

您知道我如何让请求知道可以信任我的 IT 部门的证书吗？

P.S：如果重要的话，我正在研究 windows 并且也在 WSL 中面对这个问题。

Answer 1

我最终可以让一切正常工作 - 在这里分享同样的东西，以防将来它对其他人有用。

解决方法很简单，我最初尝试过，但在尝试时犯了一个小错误。无论如何，这里是解决方案：

从浏览器访问 URL（在我的例子中是 huggingface.co URL）并访问站点附带的证书。
一种。在大多数浏览器 (chrome / firefox / edge) 中，您可以通过单击地址栏中的“锁定”图标来访问它。
保存所有证书 - 一直到根证书。
一种。我认为，从技术上讲，您可以只保存根证书，它仍然可以工作，但我还没有尝试过。如果我有时间尝试一下，我可能会更新这个。如果你碰巧在我之前尝试过，请评论。
按照 this stack overflow answer 中提到的步骤获取 CA Bundle 并在编辑器中将其打开，将上一步中下载的证书附加到文件中。
一种。原始 CA 捆绑文件在每个证书之前都有标题行，提及该证书属于哪个 CA 根。我们要添加的证书不需要这样做。我已经这样做了，我想额外的 space、回车 return 等可能导致它早些时候对我不起作用。
在我的 python 程序中，我更新了环境变量以指向更新后的 CA 根包

os.environ['REQUESTS_CA_BUNDLE'] = 'path/cacert.crt'

人们可能会认为，由于大多数 python 包使用“请求”来进行此类 GET 调用，并且“请求”使用“certifi”包指向的证书。那么，为什么不找到 certifi 指向的证书的位置并更新它。它的问题 - 每当您使用 conda 更新包时，certifi 也可能会更新，导致您的更改被冲走。因此，我发现动态更新环境变量是一个更好的选择。

干杯

BertTokenizer.from_pretrained 错误 "Connection error"

BertTokenizer.from_pretrained errors out with "Connection error"

python

ssl

ssl-certificate

huggingface-transformers