Cloudflare 上用于 facebook 爬虫的 CIDR 表示法

Question

我正在使用 cloudflare 作为 CDN 提供商，不幸的是我在使用 facebook 爬虫时遇到问题，据说有人想从网站上分享文章并且打开的图表没有正确加载消息:

Attention Required | cloudflare If you are on personal connection, like at home, you can run an anti-virus on your device to make sure it is not infected with malware.

我很确定这是因为我在访问该网站之前向用户使用了 cloudflare 挑战通道。

我已经阅读了一些关于此线程 (What's the IP address range of Facebook's Open Graph crawler?) 的 IP 建议，但 cloudflare 的问题是可接受的 IP 范围的 CIDR 表示法是 only /16 和/24。但是此线程上的 IP 列表建议如下：

31.13.24.0/21
31.13.64.0/18
66.220.144.0/20
69.63.176.0/20
69.171.224.0/19
74.119.76.0/22
103.4.96.0/22
173.252.64.0/18
204.15.20.0/22

到目前为止，我所做的是在末尾添加带有符号 /24 的 IP 列表，但仍然无法正常工作。

有没有人有类似的经历并且知道解决方法？

Answer 1

我终于能够通过为每个 IP 范围添加 /16 CIDR 概念来解决这个问题。示例：31.13.24.0/21 => 31.13.0.0/16。希望对有需要的人有所帮助。

Cloudflare 上用于 facebook 爬虫的 CIDR 表示法

CIDR notation on Cloudflare for facebook crawler

facebook

facebook-opengraph

cloudflare

cidr