X-Robots-Tag 的格式 unavailable_after
Format for X-Robots-Tag's unavailable_after
此处的信息 - https://yoast.com/robots-meta-tags/ - 说明如下：
Note: Must be in RFC850 format (e.g., Monday, 15-Aug-05 15:52:01 UTC).
但是祖父本人的例子 - https://developers.google.com/search/reference/robots_meta_tag - 显示：
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
那么，谁是正确的？
因为我使用的是 C#，所以如果我必须迎合所有不同的时区，就没有简单的方法来创建 DateTime。
X-Robots-Tag 的规格是 here。这就是 unavailable_after:
的日期格式
The date/time must be specified in a widely adopted format including, but not limited to RFC 822, RFC 850, and ISO 8601.
因此，不幸的是，格式没有精确指定，您确实需要能够解析多种可能未知的格式，才能编写适用于所有符合标准标签的爬虫程序。
此处的信息 - https://yoast.com/robots-meta-tags/ - 说明如下：
Note: Must be in RFC850 format (e.g., Monday, 15-Aug-05 15:52:01 UTC).
但是祖父本人的例子 - https://developers.google.com/search/reference/robots_meta_tag - 显示：
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
那么，谁是正确的？ 因为我使用的是 C#，所以如果我必须迎合所有不同的时区，就没有简单的方法来创建 DateTime。
X-Robots-Tag 的规格是 here。这就是 unavailable_after:
The date/time must be specified in a widely adopted format including, but not limited to RFC 822, RFC 850, and ISO 8601.
因此，不幸的是，格式没有精确指定，您确实需要能够解析多种可能未知的格式，才能编写适用于所有符合标准标签的爬虫程序。