Содержание статьи
Что такое боты
Интернет-бот - это программное приложение, которое выполняет автоматические задачи через Интернет. Задачи, выполняемые ботами, обычно просты и выполняются с гораздо большей скоростью, чем человеческая активность в Интернете.
Некоторые боты являются законными, например Googlebot - это приложение, используемое Google для сканирования Интернета и его индексации для поиска. Другие боты являются вредоносными - например, боты, используемые для автоматического сканирования веб-сайтов на предмет уязвимостей программного обеспечения и выполнения простых шаблонов атак.
Что такое ботнет
Существует множество типов вредоносных программ, которые заражают устройства конечных пользователей с целью включения их в ботнет. Любое зараженное устройство начинает взаимодействовать с центром управления и контроля (C&C) и может выполнять автоматические действия под центральным контролем злоумышленника.
Многие злоумышленники активно участвуют в создании массивных бот-сетей, самые большие из которых охватывают миллионы компьютеров. Часто ботнет может расти сам, например, за счет использования зараженных устройств для рассылки спама, что может заразить большее количество машин.
Владельцы ботнетов используют их для крупномасштабных злонамеренных действий, обычно атак типа распределенный отказ в обслуживании (DDoS). Ботнеты также могут использоваться для любых других злонамеренных действий ботов, таких как спам-боты или социальные боты (описанные ниже), хотя и в гораздо большем масштабе.
Типы ботов
В Интернете действует множество типов ботов, как легальных, так и вредоносных. Ниже приведены несколько распространенных примеров.
Боты-пауки
Боты-пауки, также известные как веб-пауки или сканеры, просматривают Интернет, переходя по гиперссылкам, с целью получения и индексации веб-контента. Пауки загружают HTML и другие ресурсы, такие как CSS, JavaScript и изображения, и используют их для обработки содержимого сайта.
Если у вас большое количество веб-страниц, вы можете разместить файл robots.txt в корне вашего веб-сервера и предоставить ботам инструкции, указав, какие части вашего сайта они могут сканировать и как часто.
Боты-скребки
Скреперы - это боты, которые считывают данные с веб-сайтов с целью сохранения их в автономном режиме и обеспечения возможности их повторного использования. Это может принимать форму очистки всего содержимого веб-страниц или очистки веб-содержимого для получения конкретных данных, таких как названия и цены продуктов на сайтах электронной коммерции.
Веб-скрапинг - это серая зона - в некоторых случаях очистка является законной и может быть разрешена владельцами веб-сайтов. В других случаях операторы ботов могут нарушать условия использования веб-сайта или, что еще хуже, использовать парсинг для кражи конфиденциального или защищенного авторским правом контента.
Спам-боты
Спам-бот - это Интернет-приложение, предназначенное для сбора адресов электронной почты для списков рассылки спама. Спам-бот может собирать электронные письма с веб-сайтов, веб-сайтов социальных сетей, предприятий и организаций, используя отличительный формат адресов электронной почты.
После того, как злоумышленники накопили большой список адресов электронной почты, они могут использовать их не только для рассылки спама, но и для других гнусных целей:
Боты для социальных сетей
Боты работают в социальных сетях и используются для автоматической генерации сообщений, отстаивания идей, действия в качестве подписчиков пользователей и в качестве поддельных учетных записей для получения самих подписчиков. По оценкам, 9-15% аккаунтов Twitter - это социальные боты.
Социальные боты могут использоваться для проникновения в группы людей и для распространения определенных идей. Поскольку их деятельность не регулируется строгими правилами, социальные боты играют важную роль в формировании общественного мнения в Интернете.
Социальные боты могут создавать поддельные учетные записи (хотя это становится все труднее по мере того, как социальные сети становятся более сложными), усиливать сообщения оператора бота и генерировать поддельных подписчиков / лайков. Выявить социальных ботов и смягчить их последствия сложно, потому что они могут демонстрировать поведение, очень похожее на поведение реальных пользователей.
Загрузочные боты
Загрузочные боты - это автоматизированные программы, которые можно использовать для автоматической загрузки программного обеспечения или мобильных приложений. Их можно использовать для влияния на статистику загрузок, например, чтобы увеличить количество загрузок в популярных магазинах приложений и помочь новым приложениям занять верхние позиции в чартах. Их также можно использовать для атак на сайты загрузки, создавая поддельные загрузки как часть атаки отказа в обслуживании (DoS) на уровне приложения.
Билетные боты
Боты по продаже билетов - это автоматизированный способ покупки билетов на популярные мероприятия с целью их коммерческой перепродажи. Эта деятельность является незаконной во многих странах, и даже если она не запрещена законом, она раздражает организаторов мероприятий, продавцов билетов и потребителей.
Боты по продаже билетов, как правило, очень сложные, имитирующие то же поведение, что и люди, покупающие билеты. Во многих доменах продажи билетов доля билетов, приобретаемых автоматическими ботами, составляет от 40 до 95%.
Как определить трафик ботов в веб-аналитике
Ниже приведены несколько параметров, которые вы можете использовать при ручной проверке веб-аналитики для обнаружения трафика ботов, попадающих на веб-сайт:
Как остановить трафик ботов: основные меры по смягчению последствий
Есть несколько простых мер, которые вы можете предпринять, чтобы заблокировать хотя бы некоторых ботов и снизить риск заражения плохими ботами:
Как боты избегают обнаружения?
Бот-технология эволюционировала за последнее десятилетие. Первоначально боты представляли собой сценарий, обращающийся к веб-сайту для получения данных или выполнения действий. Эти сценарии не принимают файлы cookie и не анализируют JavaScript, что упрощает их обнаружение.
Со временем боты стали более изощренными, принимали файлы cookie и анализировали JavaScript, но их все еще можно было довольно легко обнаружить, потому что они использовали динамические элементы веб-сайта меньше, чем пользователи-люди.
Следующим этапом развития стало использование браузеров без головы, таких как PhantomJS, которые могут полностью обрабатывать контент веб-сайта. Хотя эти браузеры более сложны, чем обычные боты, безголовые браузеры по-прежнему не могут выполнять все действия, которые могут выполнять реальные пользователи.
Самые продвинутые типы ботов основаны на браузере Chrome и практически неотличимы от реальных пользователей. Эти боты даже имитируют человеческую деятельность, такую как нажатие на элементы страницы.
Расширенные методы защиты от ботов
По мере развития ботов развивались и методы смягчения последствий. В настоящее время существует три технических подхода к обнаружению и устранению плохих ботов:
Службы защиты от ботов - это автоматизированные инструменты, которые используют вышеуказанные методы для идентификации ботов. Эти службы могут использоваться для мониторинга трафика API и определения того, является ли он легальным машинным трафиком или плохими ботами, «доящими» ваш API.
Расширенные службы защиты от ботов используют ограничение скорости для каждого запрашивающего клиента или компьютера, а не для всего IP-адреса, что позволяет ограничить сканирование от плохих ботов. После идентификации бота эти службы могут распространять информацию по сети, чтобы тот же бот не мог снова получить доступ к вашему сайту или API.
Bot Management
Решение для управления ботами использует все три описанных выше подхода - статический, основанный на задачах и на основе поведения - для исследования каждого посетителя на вашем сайте, будь то человек или нет, и сопоставления его с поведенческим идентификатором. Он может эффективно защищать от злонамеренных ботов, обеспечивая при этом беспрепятственный доступ законных ботов и пользователей-людей к вашему сайту.
Управление ботами Bot Management: методы обнаружения и варианты ответа.
Imperva не только помогает снизить негативную активность ботов, но и обеспечивает многоуровневую защиту, гарантирующую, что веб-сайты и приложения доступны, легко доступны и безопасны. Решение для обеспечения безопасности приложений включает в себя:
- Что такое боты
- Что такое ботнет
- Типы ботов
- Как определить трафик ботов в веб-аналитике
- Как остановить трафик ботов: основные меры по смягчению последствий
- Как боты избегают обнаружения?
- Расширенные методы защиты от ботов
- Bot Management
Что такое боты
Интернет-бот - это программное приложение, которое выполняет автоматические задачи через Интернет. Задачи, выполняемые ботами, обычно просты и выполняются с гораздо большей скоростью, чем человеческая активность в Интернете.
Некоторые боты являются законными, например Googlebot - это приложение, используемое Google для сканирования Интернета и его индексации для поиска. Другие боты являются вредоносными - например, боты, используемые для автоматического сканирования веб-сайтов на предмет уязвимостей программного обеспечения и выполнения простых шаблонов атак.
Что такое ботнет
Существует множество типов вредоносных программ, которые заражают устройства конечных пользователей с целью включения их в ботнет. Любое зараженное устройство начинает взаимодействовать с центром управления и контроля (C&C) и может выполнять автоматические действия под центральным контролем злоумышленника.
Многие злоумышленники активно участвуют в создании массивных бот-сетей, самые большие из которых охватывают миллионы компьютеров. Часто ботнет может расти сам, например, за счет использования зараженных устройств для рассылки спама, что может заразить большее количество машин.
Владельцы ботнетов используют их для крупномасштабных злонамеренных действий, обычно атак типа распределенный отказ в обслуживании (DDoS). Ботнеты также могут использоваться для любых других злонамеренных действий ботов, таких как спам-боты или социальные боты (описанные ниже), хотя и в гораздо большем масштабе.
Типы ботов
В Интернете действует множество типов ботов, как легальных, так и вредоносных. Ниже приведены несколько распространенных примеров.
Боты-пауки
Боты-пауки, также известные как веб-пауки или сканеры, просматривают Интернет, переходя по гиперссылкам, с целью получения и индексации веб-контента. Пауки загружают HTML и другие ресурсы, такие как CSS, JavaScript и изображения, и используют их для обработки содержимого сайта.
Если у вас большое количество веб-страниц, вы можете разместить файл robots.txt в корне вашего веб-сервера и предоставить ботам инструкции, указав, какие части вашего сайта они могут сканировать и как часто.
Боты-скребки
Скреперы - это боты, которые считывают данные с веб-сайтов с целью сохранения их в автономном режиме и обеспечения возможности их повторного использования. Это может принимать форму очистки всего содержимого веб-страниц или очистки веб-содержимого для получения конкретных данных, таких как названия и цены продуктов на сайтах электронной коммерции.
Веб-скрапинг - это серая зона - в некоторых случаях очистка является законной и может быть разрешена владельцами веб-сайтов. В других случаях операторы ботов могут нарушать условия использования веб-сайта или, что еще хуже, использовать парсинг для кражи конфиденциального или защищенного авторским правом контента.
Спам-боты
Спам-бот - это Интернет-приложение, предназначенное для сбора адресов электронной почты для списков рассылки спама. Спам-бот может собирать электронные письма с веб-сайтов, веб-сайтов социальных сетей, предприятий и организаций, используя отличительный формат адресов электронной почты.
После того, как злоумышленники накопили большой список адресов электронной почты, они могут использовать их не только для рассылки спама, но и для других гнусных целей:
- Взлом учетных данных - связывание электронных писем с общими паролями для получения несанкционированного доступа к учетным записям.
- Спам в формах - автоматическая вставка спама, такого как реклама или ссылки на вредоносное ПО, в формы на популярных веб-сайтах, обычно в формы комментариев или отзывов.
Боты для социальных сетей
Боты работают в социальных сетях и используются для автоматической генерации сообщений, отстаивания идей, действия в качестве подписчиков пользователей и в качестве поддельных учетных записей для получения самих подписчиков. По оценкам, 9-15% аккаунтов Twitter - это социальные боты.
Социальные боты могут использоваться для проникновения в группы людей и для распространения определенных идей. Поскольку их деятельность не регулируется строгими правилами, социальные боты играют важную роль в формировании общественного мнения в Интернете.
Социальные боты могут создавать поддельные учетные записи (хотя это становится все труднее по мере того, как социальные сети становятся более сложными), усиливать сообщения оператора бота и генерировать поддельных подписчиков / лайков. Выявить социальных ботов и смягчить их последствия сложно, потому что они могут демонстрировать поведение, очень похожее на поведение реальных пользователей.
Загрузочные боты
Загрузочные боты - это автоматизированные программы, которые можно использовать для автоматической загрузки программного обеспечения или мобильных приложений. Их можно использовать для влияния на статистику загрузок, например, чтобы увеличить количество загрузок в популярных магазинах приложений и помочь новым приложениям занять верхние позиции в чартах. Их также можно использовать для атак на сайты загрузки, создавая поддельные загрузки как часть атаки отказа в обслуживании (DoS) на уровне приложения.
Билетные боты
Боты по продаже билетов - это автоматизированный способ покупки билетов на популярные мероприятия с целью их коммерческой перепродажи. Эта деятельность является незаконной во многих странах, и даже если она не запрещена законом, она раздражает организаторов мероприятий, продавцов билетов и потребителей.
Боты по продаже билетов, как правило, очень сложные, имитирующие то же поведение, что и люди, покупающие билеты. Во многих доменах продажи билетов доля билетов, приобретаемых автоматическими ботами, составляет от 40 до 95%.
Как определить трафик ботов в веб-аналитике
Ниже приведены несколько параметров, которые вы можете использовать при ручной проверке веб-аналитики для обнаружения трафика ботов, попадающих на веб-сайт:
- Тенденции трафика - аномальные всплески трафика могут указывать на то, что на сайт заходят боты. Это особенно верно, если движение происходит в нечетные часы.
- Показатель отказов - аномальные максимумы или минимумы могут быть признаком плохих ботов. Например, у ботов, которые попадают на определенную страницу сайта и затем переключают IP, будет 100% отказов.
- Источники трафика - во время злонамеренной атаки основным каналом отправки трафика является «прямой» трафик, и этот трафик будет состоять из новых пользователей и сеансов.
- Производительность сервера - снижение производительности сервера может быть признаком ботов.
- Подозрительные IP-адреса / географические местоположения - увеличение активности до неизвестного диапазона IP-адресов или региона, в котором вы не ведете бизнес.
Подозрительные попадания с отдельных IP-адресов - большое количество попаданий с одного IP-адреса. Люди обычно запрашивают несколько страниц, а не другие, тогда как боты часто запрашивают все страницы. - Языковые источники - отслеживание обращений с других языков, которые ваши клиенты обычно не используют.
Как остановить трафик ботов: основные меры по смягчению последствий
Есть несколько простых мер, которые вы можете предпринять, чтобы заблокировать хотя бы некоторых ботов и снизить риск заражения плохими ботами:
- Поместите robots.txt в корень своего веб-сайта, чтобы определить, каким ботам разрешен доступ к вашему веб-сайту. Имейте в виду, что это эффективно только для управления шаблонами сканирования легитимных ботов и не защитит от злонамеренных действий ботов.
- Добавьте CAPTCHA в формы регистрации, комментариев или загрузки. Многие издатели и премиум-сайты размещают CAPTCHA, чтобы предотвратить загрузку или спам-ботов.
- Установите оповещение JavaScript, чтобы уведомлять вас о трафике ботов. Наличие контекстного JavaScript может действовать как зуммер и предупреждать вас, когда он видит бота или аналогичный элемент, входящий на веб-сайт.
Как боты избегают обнаружения?
Бот-технология эволюционировала за последнее десятилетие. Первоначально боты представляли собой сценарий, обращающийся к веб-сайту для получения данных или выполнения действий. Эти сценарии не принимают файлы cookie и не анализируют JavaScript, что упрощает их обнаружение.
Со временем боты стали более изощренными, принимали файлы cookie и анализировали JavaScript, но их все еще можно было довольно легко обнаружить, потому что они использовали динамические элементы веб-сайта меньше, чем пользователи-люди.
Следующим этапом развития стало использование браузеров без головы, таких как PhantomJS, которые могут полностью обрабатывать контент веб-сайта. Хотя эти браузеры более сложны, чем обычные боты, безголовые браузеры по-прежнему не могут выполнять все действия, которые могут выполнять реальные пользователи.
Самые продвинутые типы ботов основаны на браузере Chrome и практически неотличимы от реальных пользователей. Эти боты даже имитируют человеческую деятельность, такую как нажатие на элементы страницы.
Расширенные методы защиты от ботов
По мере развития ботов развивались и методы смягчения последствий. В настоящее время существует три технических подхода к обнаружению и устранению плохих ботов:
- Статический подход - инструменты статического анализа могут идентифицировать веб-запросы и информацию заголовков, коррелированную с плохими ботами, пассивно определяя личность бота и, при необходимости, блокируя ее.
- Подход, основанный на задачах - вы можете оснастить свой веб-сайт возможностью проактивно проверять, исходит ли трафик от пользователей или ботов. Детекторы ботов на основе задач могут проверять способность каждого посетителя использовать файлы cookie, запускать JavaScript и взаимодействовать с элементами CAPTCHA. Снижение способности обрабатывать эти типы элементов является признаком бот-трафика.
- Поведенческий подход - механизм смягчения поведенческих ботов рассматривает поведенческие сигнатуры каждого посетителя, чтобы определить, соответствует ли он тем, за кого себя выдвигает. Защита от поведенческих ботов устанавливает базовый уровень нормального поведения для пользовательских агентов, таких как Google Chrome, и определяет, отклоняется ли текущий пользователь от этого поведения. Он также может сравнивать поведенческие сигнатуры с ранее известными сигнатурами плохих ботов.
Службы защиты от ботов - это автоматизированные инструменты, которые используют вышеуказанные методы для идентификации ботов. Эти службы могут использоваться для мониторинга трафика API и определения того, является ли он легальным машинным трафиком или плохими ботами, «доящими» ваш API.
Расширенные службы защиты от ботов используют ограничение скорости для каждого запрашивающего клиента или компьютера, а не для всего IP-адреса, что позволяет ограничить сканирование от плохих ботов. После идентификации бота эти службы могут распространять информацию по сети, чтобы тот же бот не мог снова получить доступ к вашему сайту или API.
Bot Management
Решение для управления ботами использует все три описанных выше подхода - статический, основанный на задачах и на основе поведения - для исследования каждого посетителя на вашем сайте, будь то человек или нет, и сопоставления его с поведенческим идентификатором. Он может эффективно защищать от злонамеренных ботов, обеспечивая при этом беспрепятственный доступ законных ботов и пользователей-людей к вашему сайту.
Управление ботами Bot Management: методы обнаружения и варианты ответа.
Imperva не только помогает снизить негативную активность ботов, но и обеспечивает многоуровневую защиту, гарантирующую, что веб-сайты и приложения доступны, легко доступны и безопасны. Решение для обеспечения безопасности приложений включает в себя:
- Безопасность API - защищает API от ботов и злоумышленников, обеспечивая доступ только желаемому трафику к вашей конечной точке API, а также обнаруживая и блокируя эксплойты уязвимостей.
- Защита от DDoS-атак - поддержание работоспособности в любых ситуациях. Предотвратите любые типы DDoS-атак любого размера, препятствующие доступу к вашему веб-сайту и сетевой инфраструктуре.
- CDN - повысьте производительность веб-сайта и сократите расходы на полосу пропускания с помощью CDN, разработанной для разработчиков. Кэшируйте статические ресурсы на периферии, ускоряя API и динамические веб-сайты.
- Брандмауэр веб-приложений - разрешает законный трафик и предотвращает плохой трафик. Защитите свои приложения на периферии с помощью облачного WAF корпоративного класса.
- RASP - защитите свои приложения изнутри от известных атак и атак нулевого дня. Быстрая и точная защита без подписи или режима обучения.
- Защита от захвата учетных записей - использует процесс обнаружения на основе намерений для выявления и защиты от попыток захвата учетных записей пользователей в злонамеренных целях.
