вторник, июля 24, 2007

Как определить гуглбота

Matt Cutts упомянул эту заметку: how-to-verify-googlebot


Вкратце некий спец из гугла предлагает не просто использовать reverse dns lookup, а reverse dns lookup(получаем имя хоста вида crawl-a-b-c-d.googlebot.com) + forward dns lookup для имени хоста полученном на первом шаге и сравнение ip с исходным . Таким образом можно защитится от спуфинга.

Комментариев нет: