Django-Compressor 无法在具有自定义 S3 域的离线模式下工作

Question

每当使用 S3 端点的自定义域时，我都会收到以下错误。

#  WORKS 
AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
#  DOES NOT WORK ⁉️ 
AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)

CommandError: An error occurred during rendering /home/<user>/<app>/templates/public/index.html: 'https://cdn.example.com/storage/static/node_modules/nouislider/distribute/nouislider.min.css' isn't accessible via COMPRESS_URL ('https://example.fra1.digitaloceanspaces.com/storage/static/') and can't be compressed

如果我转到 url 文件是可访问的，因此 CDN 可能没问题，URL 定义正确，CORS 也很好。此外，在没有 django-compressor 的情况下，子域交付工作正常，这让我相信问题不在于 django-storages

我已经尝试了几个小时，最终不得不通过将 AWS_S3_CUSTOM_DOMAIN 设置为与 AWS_S3_ENDPOINT_URL 相同来进行临时修复。然而这并不理想。

请看下面的实现。

/requirements.txt

Django==3.1.4
...
boto3~=1.16.46
botocore~=1.19.46
s3transfer~=0.3.3
...
django-storages~=1.11.1
django-compressor~=2.4

/config/settings.py

...
# ==========================================================
#  DJANGO-STORAGES
# ==========================================================
if LOCALHOST_MODE:
    MEDIA_URL = '/media/'
    MEDIA_ROOT = os.path.join(BASE_DIR, 'media')

    STATIC_URL = '/static/'
    STATICFILES_DIRS = [os.path.join(BASE_DIR, 'static/'), ]
else:
    AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
    AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")

    AWS_STORAGE_BUCKET_NAME = 'storage'
    AWS_S3_ENDPOINT_URL = 'https://example.fra1.digitaloceanspaces.com'
   
    #  WORKS ⚠️ 
    AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
    #  DOES NOT WORK ⁉️ 
    AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)  

    AWS_S3_OBJECT_PARAMETERS = {
        'CacheControl': 'max-age=86400',
    }
    AWS_LOCATION = 'static'
    AWS_DEFAULT_ACL = 'public-read'

    STATICFILES_DIRS = (os.path.join(BASE_DIR, "static"), )
    STATIC_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, AWS_LOCATION)
    STATICFILES_STORAGE = 'storage_backends.CachedS3Boto3Storage'

    MEDIA_ROOT = os.path.join(BASE_DIR, "media")
    MEDIA_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, 'media')
    DEFAULT_FILE_STORAGE = 'storage_backends.MediaStorage'

# ==========================================================
# DJANGO-COMPRESSOR
# ==========================================================
COMPRESS_ENABLED = True
STATIC_DEPS = True
COMPRESS_ROOT = os.path.join(BASE_DIR, "static")

COMPRESS_FILTERS = {
    'css': ['compressor.filters.css_default.CssAbsoluteFilter', 'compressor.filters.cssmin.rCSSMinFilter'],
    'js': ['compressor.filters.jsmin.JSMinFilter']
}

if LOCALHOST_MODE:
    COMPRESS_OFFLINE = False
else:
    COMPRESS_OFFLINE = True
    COMPRESS_STORAGE = STATICFILES_STORAGE
    COMPRESS_URL = STATIC_URL

STATICFILES_FINDERS = [
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
    'compressor.finders.CompressorFinder',
]
...

/storage_backends.py

from django.core.files.storage import get_storage_class
from storages.backends.s3boto3 import S3Boto3Storage

from config import settings


class MediaStorage(S3Boto3Storage):
    bucket_name = settings.AWS_STORAGE_BUCKET_NAME
    location = 'media'


class CachedS3Boto3Storage(S3Boto3Storage):
    def __init__(self, *args, **kwargs):
        super(CachedS3Boto3Storage, self).__init__(*args, **kwargs)
        self.local_storage = get_storage_class(
            "compressor.storage.CompressorFileStorage")()

    def save(self, name, content):
        self.local_storage._save(name, content)
        super(CachedS3Boto3Storage, self).save(name, self.local_storage._open(name))
        return name

Answer 1

如何调试这个错误：

查看引发错误的位置（在 django-compressor.compressor.base 中）我们发现以下内容：

    def get_basename(self, url):
        try:
            base_url = self.storage.base_url
        except AttributeError:
            base_url = settings.COMPRESS_URL

        base_url = str(base_url)
        if not url.startswith(base_url):
            raise UncompressableFileError(
                "'%s' isn't accessible via "
                "COMPRESS_URL ('%s') and can't be "
                "compressed" % (url, base_url)
       )

查看您的设置：

您的 COMPRESS_URL 设置为等于 STATIC_URL,
又等于 '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, AWS_LOCATION).
这是https://example.fra1.digitaloceanspaces.com/storage/static/
但是传入的url是https://cdn.example.com/storage/static/...

这是问题的路径。

这是怎么回事？？

COMPRESS_URL 控制 URL 将从中读取链接文件并写入压缩文件。
当你的 CSS 或 JS 文件在某处带有 link、rel 或 src 属性时，django-compressor 调用 get_basename .
get_basename 获取静态文件的完整路径（例如“/static/css/style.css”）和 returns 删除了存储基础 url 的路径（例如“css/style.css”）。
因为某些 link、rel 或 src 属性的基本路径不是以 COMPRESS_URL 开头（它应该是基本 url) 它无法删除它，因此会引发错误。

如何解决这个问题

如果不查看整个项目，很难确切地知道出了什么问题，但是以下内容可能会有所帮助：

如果您更新 AWS_S3_ENDPOINT_URL 以匹配您的 AWS_S3_CUSTOM_DOMAIN。这将依次更新您的 STATIC_URL（我怀疑这会影响您文件中的文件名），并且还会更新您的 COMPRESS_URL。我认为这可能会解决问题。
或者，只需更新 COMPRESS_URL 以使用正确的 url（尽管我认为这需要与您当前的设置相匹配 STATIC_URL）。
如果正在压缩的文件中的任何 (link、rel 或 src) url 是硬编码的，则它们需要更新以匹配您的 COMPRESS_URL.

Answer 2

必须为远程存储配置 Django Compressor。 Django Compressor Documentation 的第 2.5.1 节介绍了 S3 并解释了您需要设置

AWS_S3_CUSTOM_DOMAIN = '%s.s3.amazonaws.com' % AWS_STORAGE_BUCKET_NAME
COMPRESS_URL = f'https://{AWS_S3_CUSTOM_DOMAIN}/'

和

COMPRESS_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'

在 settings.py 中。在我可以让我的应用程序运行之前，我仍然需要进一步调试，这样我就必须运行在本地收集静态数据，以便 my_project/static 匹配我的 S3 存储。然后，我必须设置

STATICFILES_LOCATION = ''

后两个错误可能是无关的问题，但我认为我应该提及它们。

Django-Compressor 无法在具有自定义 S3 域的离线模式下工作

Django-Compressor won't work in offline mode with custom S3 domain

django

cdn

boto

django-storage