Захист від ботів в Google
22:48 08.03.2010Давно хотів розповісти про цей аспект роботи з Google. Ще в 2007 році Гугл ввела систему захисту від автоматизованих запитів в своій пошуковій системі. І дана система захисту від автоматизованих запитів в Гуглі потребує покращення.
Звичайно подібна система дозволяє Гуглу боротися з різними програмами, які намагаються використовувати їх пошукову систему для власних пошуків. Як різними інтернет сервісами, так і вірусами та хробаками. Ті сайти, які потребуватимуть легально використовувати пошукові можливості Гугла, можуть отримати від компанії власний ключ Google Search API.
Але як я багато разів стикався за останні роки, зокрема при секюріті дослядженнях - при деяких запитах Гугл на рівному місці їх блокує. Причому з роками я стикався з цим все частіше
. Гугл починає вважати людей, користувачів своєї пошукової системи, ботами. Були в мене випадки, коли запит спрацьовує спочатку нормально, а коли заходиш далі по результатам пошуку (під час досліджень), то Гугл починає блокувати. Зовсім в них неякісна система захисту від автоматизованих запитів. Так що їм треба покращувати свої алгоритми ідентифікації людини.
Ось приклад роботи даної системи від trovich.
Зазначу, що в 2009 році Google переробив дану систему. Вірогідно їм часто лунали скарги на роботу їх системи захисту від ботів, тому вони вірішили її виправити
. Вони додали капчу (замість простого блокування), що дозволяє підтвердити те, що ти людина, і далі деякий час Гугл вже не турбує. І з того часу стало значно зручніше проводити секюріті дослідження в даному пошуковці.