MarketingInsightBot — о нашем краулере

Кто это

MarketingInsightBot — краулер сервиса marketing-insight, AI-консультанта по развитию сайта (marketing-insight.ru). По заданию наших пользователей он время от времени загружает отдельные общедоступные страницы сайтов, которые находятся в верхней части выдачи Яндекса по отслеживаемым запросам, — чтобы показать пользователю, что изменилось на этих страницах со временем.

Бот представляется честным User-Agent со ссылкой на эту страницу:

MarketingInsightBot/1.0 (+https://marketing-insight.ru/bot)

Что и как он собирает

• только общедоступные HTML-страницы, попавшие в верх выдачи по запросам пользователей сервиса — не более 3 страниц с одного домена за одну проверку;
• щадящий темп: не чаще 1–2 запросов в секунду к одному хосту;
• из страницы извлекаются неперсональные факты (заголовки, структура, объём текста) и снимок первого экрана; формы не заполняются, разделы за авторизацией не посещаются;
• при ответах 403/429 бот отступает и снижает частоту; средства обхода защит (капч, антиботов) не используются.

robots.txt

Бот безусловно соблюдает robots.txt, включая директиву Crawl-delay. Чтобы запретить MarketingInsightBot доступ ко всему сайту, добавьте в robots.txt:

User-agent: MarketingInsightBot
Disallow: /

Запрет вступает в силу со следующего обращения бота к сайту.

Как запретить обход без robots.txt

Напишите на abuse@marketing-insight.ru с домена, которым вы управляете, или приложите подтверждение права на сайт. Мы внесём домен в список исключений (бот перестанет его посещать) и по запросу удалим сохранённые копии страниц домена. Срок реакции — до 3 рабочих дней.

Контакты

Вопросы о работе краулера и жалобы: abuse@marketing-insight.ru.