detect-secrets 和 detect-secrets-hook 结果之间的区别

Question

我正在评估 detect-secrets，我不确定为什么我从 detect-secrets 和 hook 得到不同的结果。

这里是一个简化的日志：

$ cat docs/how-to-2.md
AZ_STORAGE_CS="DefaultEndpointsProtocol=https;AccountName=storageaccount1234;AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A==;EndpointSuffix=core.windows.net"
$ detect-secrets scan --string $(cat docs/how-to-2.md)
AWSKeyDetector         : False
ArtifactoryDetector    : False
Base64HighEntropyString: True  (5.367)
BasicAuthDetector      : False
CloudantDetector       : False
HexHighEntropyString   : False
IbmCloudIamDetector    : False
IbmCosHmacDetector     : False
JwtTokenDetector       : False
KeywordDetector        : False
MailchimpDetector      : False
PrivateKeyDetector     : False
SlackDetector          : False
SoftlayerDetector      : False
StripeDetector         : False
TwilioKeyDetector      : False
$ detect-secrets-hook docs/how-to-2.md
$ detect-secrets-hook --baseline .secrets.baseline docs/how-to-2.md

我原以为 detect-secrets-hook 会告诉我有关具有高熵的 Azure 存储帐户密钥的信息。

关于基线的更多详细信息：

$ cat .secrets.baseline
{
  "custom_plugin_paths": [],
  "exclude": {
    "files": null,
    "lines": null
  },
  "generated_at": "2020-10-09T10:06:54Z",
  "plugins_used": [
    {
      "name": "AWSKeyDetector"
    },
    {
      "name": "ArtifactoryDetector"
    },
    {
      "base64_limit": 4.5,
      "name": "Base64HighEntropyString"
    },
    {
      "name": "BasicAuthDetector"
    },
    {
      "name": "CloudantDetector"
    },
    {
      "hex_limit": 3,
      "name": "HexHighEntropyString"
    },
    {
      "name": "IbmCloudIamDetector"
    },
    {
      "name": "IbmCosHmacDetector"
    },
    {
      "name": "JwtTokenDetector"
    },
    {
      "keyword_exclude": null,
      "name": "KeywordDetector"
    },
    {
      "name": "MailchimpDetector"
    },
    {
      "name": "PrivateKeyDetector"
    },
    {
      "name": "SlackDetector"
    },
    {
      "name": "SoftlayerDetector"
    },
    {
      "name": "StripeDetector"
    },
    {
      "name": "TwilioKeyDetector"
    }
  ],
  "results": {
    ".devcontainer/Dockerfile": [
      {
        ###obfuscated###
      }
    ],
    "deployment/export-sp.sh": [
      {
        ###obfuscated###
      }
    ],
    "docs/pip-install-from-artifacts-feeds.md": [
      {
        ###obfuscated###
      }
    ]
  },
  "version": "0.14.3",
  "word_list": {
    "file": null,
    "hash": null
  }
}

Answer 1

这绝对是一种奇怪的行为，但经过一些调查，我意识到您偶然发现了该工具的边缘情况。

tl;博士

HighEntropyStringPlugin 支持有限的字符集（不包括 ;）
为了减少误报，HighEntropyStringPlugin 利用在特定上下文中引用字符串的启发式方法。
为了改进 UI，内联字符串扫描 不需要 需要带引号的字符串。

因此，功能不同：当运行到 detect-secrets-hook 时，由于 ; 的存在，它不会相应地解析字符串。但是，当运行到 detect-secrets scan --string 时，它不需要引号，而是将字符串分开。

详细说明

HighEntropyString 测试非常嘈杂，如果不针对误报积极 p运行ed。它尝试执行此操作的一种方法是通过应用相当严格的正则表达式（source), which requires it to be inside quotes. However, for certain contexts, this quoted requirement is removed（例如 YAML 文件和内联字符串扫描）。

删除此引用要求后，我们得到以下细分：

>>> line = 'AZ_STORAGE_CS="DefaultEndpointsProtocol=https;AccountName=storageaccount1234;AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A==;EndpointSuffix=core.windows.net"'
>>> with self.non_quoted_string_regex(is_exact_match=False):
...    self.regex.findall(line)
['AZ_STORAGE_CS=', 'DefaultEndpointsProtocol=https', 'AccountName=storageaccount1234', 'AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A==', 'EndpointSuffix=core', 'windows', 'net']

当我们这样做时，我们可以看到 AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A== 会触发 base64 插件，如下所示：

$ detect-secrets scan --string 'AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A=='
AWSKeyDetector         : False
ArtifactoryDetector    : False
Base64HighEntropyString: True  (5.367)
BasicAuthDetector      : False
CloudantDetector       : False
HexHighEntropyString   : False
IbmCloudIamDetector    : False
IbmCosHmacDetector     : False
JwtTokenDetector       : False
KeywordDetector        : False
MailchimpDetector      : False
PrivateKeyDetector     : False
SlackDetector          : False
SoftlayerDetector      : False
StripeDetector         : False
TwilioKeyDetector      : False

然而，当被应用时，整个字符串负载被扫描为一个潜在的秘密：DefaultEndpointsProtocol=https;AccountName=storageaccount1234;AccountKey=1OM7c6u5Ocp/zyUMWcRChowzd8czZmxPhzHZ8o45X7tAryr6JFF79+zerFFQS34KzVTK0yadoZGkvZh42A==;EndpointSuffix=core.windows.net

这不会被标记，因为它不符合原始的 base64 正则表达式规则，该规则不知道如何处理 ;。

>>> self.regex.findall(line)
[]

因此，此功能有所不同，但不会通过所描述的调用模式立即显现出来。

我该如何解决这个问题？

这是一个更具挑战性的问题，因为允许其他字符会改变熵计算，以及标记字符串的概率。已经有一些关于为所有角色创建插件的讨论，但团队尚未能够为此决定默认的熵限制。

detect-secrets 和 detect-secrets-hook 结果之间的区别

difference between detect-secrets and detect-secrets-hook results

credentials

devops

tl;博士

详细说明

我该如何解决这个问题？