Захист від ботів в Google
22:48 08.03.2010Давно хотів розповісти про цей аспект роботи з Google. Ще в 2007 році Гугл ввела систему захисту від автоматизованих запитів в своій пошуковій системі. І дана система захисту від автоматизованих запитів в Гуглі потребує покращення.
Звичайно подібна система дозволяє Гуглу боротися з різними програмами, які намагаються використовувати їх пошукову систему для власних пошуків. Як різними інтернет сервісами, так і вірусами та хробаками. Ті сайти, які потребуватимуть легально використовувати пошукові можливості Гугла, можуть отримати від компанії власний ключ Google Search API.
Але як я багато разів стикався за останні роки, зокрема при секюріті дослядженнях - при деяких запитах Гугл на рівному місці їх блокує. Причому з роками я стикався з цим все частіше 
. Гугл починає вважати людей, користувачів своєї пошукової системи, ботами. Були в мене випадки, коли запит спрацьовує спочатку нормально, а коли заходиш далі по результатам пошуку (під час досліджень), то Гугл починає блокувати. Зовсім в них неякісна система захисту від автоматизованих запитів. Так що їм треба покращувати свої алгоритми ідентифікації людини.
Ось приклад роботи даної системи від trovich.
Зазначу, що в 2009 році Google переробив дану систему. Вірогідно їм часто лунали скарги на роботу їх системи захисту від ботів, тому вони вірішили її виправити 
. Вони додали капчу (замість простого блокування), що дозволяє підтвердити те, що ти людина, і далі деякий час Гугл вже не турбує. І з того часу стало значно зручніше проводити секюріті дослідження в даному пошуковці.
Понеділок, 17:54 03.05.2010
Додам, що наприкінці квітня, під час своїх досліджень, я виявив, що робота капчі для захисту від ботів в Google недостатньо якісна. Бо знову Гугл почав нагло блокувати людей.
Якщо раніше, Гугл виводив через деякий час капчу і після її введення, можна було далі спокійно працювати (деякий час), то зараз алгоритм її роботи змінився. Зараз Гугл не завжди виводить капчу, іноді просто блокує. І лише через деякий час “наполегливих звертань” може знову вивести капчу.
І навіть після введення капчі, Гугл може достатньо швидко повністю заблокувати запити до пошуковця, причому без виведення нової капчі. І швидкість блокування Гуглом запитів до пошуковця (деякої категорії запитів, що часто використовуються при різних дослідженнях) також зросла.