例如名为的域绝对不属于真正的

rumi

Googlebot。如何100%确定？有一种方法可以欺骗这个方法。您可以设置从您的服务器到有效的 Googlebot 服务器的重定向。在这种情况下，如果您询问服务器的名称，您将获得正确的 Googlebot 域！
为了应对这种可能性，您必须询问其 IP 地址的域名。您可 电话号码列表
以使用与刚才看到的相同的命令，但这次使用域名而不是 IP 地址。使用nslookup和域名检查IP使用nslookup和域名检查IP如果响应的 IP 地址与请求的 IP 地址匹配，则您刚刚验证了真正的 Googlebot。

以下是最流行的爬虫域列表：百度：对于 Bing，您可以直接在此页面上验证 IP ，但无法自动执行验证过程，因为它仅供人类使用。白名单此时您可能想知道为什么 Google 没有像其他人那样发布他们的 IP 列表。答案很简单：它们的 IP 范围将来可能会发生变化。



这样的列表肯定会在某些服务器配置中保留下来，从而使它们容易受到攻击。但是，您不应该对每个请求都使用反向 DNS 查找，这太浪费了。正确的做法是创建一个临时 IP 列表，即白名单。基本思想是这样的——当您收到来自 Googlebot 用户代理的请求时，首先检查您的白名单。