Проверить, является ли робот,
осуществляющий доступ к вашему серверу, роботом Googlebot,
можно, выполнив обратный поиск в DNS и убедившись, что имя
относится к домену googlebot.com, а затем выполнив прямой поиск
в DNS по этому имени робота googlebot. Это полезно сделать, если
у вас есть подозрения, что под видом робота Googlebot к вашему
сайту обращаются спамеры или другие злоумышленники.
Рассмотрим пример.
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer
crawl-66-249-66-1.googlebot.com.
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Компания Google не публикует "белые
списки" IP-адресов для веб-мастеров. Это связано с тем, что эти
диапазоны IP-адресов могут измениться, что создаст проблемы для
веб-мастеров, которые установили к ним жесткую привязку.
Наилучший способ идентифицировать доступ робота Googlebot - с
помощью агента user-agent (Googlebot).