如何检查请求是否来自 google、facebook、twitter 和 bing 爬虫？
How to check if the request is from google, facebook, twitter and bing crawlers?
我想为 Web 应用程序提供服务并在 JavaScript 中使用双向数据绑定编译模板。
另一方面，我想为网络爬虫生成现成的 HTML 内容。
如何知道请求是否来自流行的网络crawlers/bots，例如Google、bing、facebook、twitter??
他们通常通过用户代理发送此类信息，例如
- Google 爬虫
- 雅虎
- Bing
或类似的东西，在 php 中，您可以使用
找到用户代理
$_SERVER['HTTP_USER_AGENT'];
但是，您应该知道用户代理可能会被欺骗。
我想为 Web 应用程序提供服务并在 JavaScript 中使用双向数据绑定编译模板。 另一方面，我想为网络爬虫生成现成的 HTML 内容。
如何知道请求是否来自流行的网络crawlers/bots，例如Google、bing、facebook、twitter??
他们通常通过用户代理发送此类信息，例如
- Google 爬虫
- 雅虎
- Bing
或类似的东西，在 php 中，您可以使用
找到用户代理$_SERVER['HTTP_USER_AGENT'];
但是，您应该知道用户代理可能会被欺骗。