Блог про GEO і SEO

Які боти ШІ сканують сайт – GPTBot, ClaudeBot, PerplexityBot

Сайт сканують щонайменше три типи ботів ШІ: краулери для навчання моделей (GPTBot, ClaudeBot, CCBot), індексатори для пошуку всередині чатів (OAI-SearchBot, PerplexityBot, Claude-SearchBot) і боти, які переходять на сторінку прямо під час відповіді користувачу (ChatGPT-User, Perplexity-User, Claude-User). Блокувати їх усіх разом – помилка: разом із навчанням ви відріжете себе від цитувань в AI-відповідях. Правильний підхід – дозволити індексатори та user-боти, а рішення щодо навчальних краулерів ухвалювати окремо.

Які саме боти ШІ ходять сайтом?

Нижче – основні user-agent, які сьогодні реально зустрічаються в логах. Точні рядки варто звіряти з документацією власника бота, бо назви час від часу змінюються.

User-agentЧийДля чого заходитьНаслідок блокування
GPTBotOpenAIЗбір даних для навчання моделейКонтент не потрапляє в навчальні дані; на видимість у ChatGPT Search прямо не впливає
OAI-SearchBotOpenAIІндексація для пошуку в ChatGPTСайт зникає з результатів пошуку ChatGPT
ChatGPT-UserOpenAIПерехід на сторінку за запитом користувачаChatGPT не зможе відкрити вашу сторінку за посиланням
ClaudeBotAnthropicСканування для навчанняКонтент не потрапляє в навчальні дані Claude
Claude-SearchBotAnthropicІндексація для пошуку в ClaudeМенше шансів бути джерелом у відповідях Claude
Claude-UserAnthropicВідкриття сторінки на запит користувачаClaude не прочитає сторінку в діалозі
PerplexityBotPerplexityІндексація сайтів для цитуваньСайт не цитується в Perplexity
Perplexity-UserPerplexityПерехід за посиланням під час відповідіСторінка не відкривається для користувача
GooglebotGoogleКласичний пошук + база для AI OverviewsЗникнення з Google і з AI Overviews
Google-ExtendedGoogleТокен керування навчанням Gemini/VertexКонтент не йде на навчання, пошук не страждає
bingbotMicrosoftІндекс Bing, на якому працює CopilotЗникнення з Bing і Copilot
ApplebotAppleSiri, Spotlight, пошук AppleВтрата видимості в сервісах Apple
Applebot-ExtendedAppleТокен відмови від навчання Apple IntelligenceКонтент не використовується для навчання

Є й друга група – краулери, які частіше збирають дані масово або обслуговують менші сервіси: CCBot (Common Crawl, його дампи використовують багато команд для навчання), meta-externalagent і meta-externalfetcher (Meta), Amazonbot, Bytespider (ByteDance), DuckAssistBot (DuckDuckGo), YouBot (You.com), MistralAI-User, cohere-ai та cohere-training-data-crawler.

Окремо варто пам'ятати: Google-Extended і Applebot-Extended – це не живі боти, а токени в robots.txt. Вони не роблять запитів, але правила для них визначають, чи піде ваш контент у навчання.

Чим краулер для навчання відрізняється від бота, що приходить за запитом користувача?

Навчальний краулер (GPTBot, ClaudeBot, CCBot) обходить сайт пачками, зберігає текст і використовує його для тренування моделей. Ваша сторінка в такому разі впливає на "знання" моделі загалом, але без гарантованого посилання на вас.

Пошуковий індексатор (OAI-SearchBot, PerplexityBot, Claude-SearchBot) будує власний індекс, з якого система дістає джерела під час відповіді. Саме він відповідає за те, чи з'явиться ваш домен у списку посилань.

User-бот (ChatGPT-User, Perplexity-User, Claude-User) заходить тут і зараз, бо хтось поставив питання або дав посилання. Такі запити поодинокі, але вони найцінніші: це фактично живий трафік через ШІ.

Практичний висновок: якщо ви хочете, щоб вас цитували, індексатори й user-боти мають бути відкриті завжди. Навчальні краулери – питання вашої політики щодо контенту.

Як перевірити, чи заходять боти ШІ на мій сайт?

Google Analytics тут не допоможе: боти не виконують JavaScript, тож у звітах їх не видно. Потрібні логи сервера або панель CDN.

  1. Візьміть access-лог за останні 7–30 днів (/var/log/nginx/access.log або еквівалент).
  2. Відфільтруйте відомі user-agent і порахуйте кількість запитів.
  3. Перевірте коди відповідей: 200 – добре, 403/429 – бота блокує сервер або WAF.
  4. Подивіться, які саме URL сканують: важливі сторінки чи лише службові.
  5. Перевірте автентичність – шахраї часто підписуються чужими user-agent.
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Applebot|Bytespider" \
  /var/log/nginx/access.log \
  | awk '{print $NF, $9}' | sort | uniq -c | sort -rn | head -40

Для перевірки справжності бота використовуйте опубліковані списки IP: OpenAI, Anthropic і Perplexity викладають їх у відкритому доступі, Google та Bing перевіряються через зворотний DNS. Якщо запит із user-agent GPTBot приходить з адреси поза офіційним діапазоном – це підробка, і її можна блокувати без вагань.

Як дозволити або заблокувати ботів ШІ в robots.txt?

Боти великих компаній декларують, що дотримуються robots.txt. Щодо окремих краулерів у спільноті регулярно виникають суперечки про коректність поведінки [перевірте: актуальні повідомлення про ботів, які ігнорують robots.txt], тож для критичних випадків надійніше блокувати на рівні сервера чи WAF.

Варіант "максимальна видимість у ШІ, без навчання":

# Пошук та цитування – дозволено
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Навчання моделей – заборонено
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Sitemap: https://example.com/sitemap.xml

Варіант "відкриваємо все, крім службових розділів" – для більшості комерційних сайтів він вигідніший:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

Важлива деталь: директива для User-agent: * не поширюється на бота, для якого є власний блок. Якщо ви прописали окремий блок для GPTBot, він читатиме лише його і проігнорує загальні правила.

Чи варто блокувати ботів ШІ?

СитуаціяЩо робити з навчальними краулерамиЩо робити з індексаторами
Контентний сайт, медіа, блогМожна закрити, якщо контент – основний активВідкрити
Інтернет-магазинВідкрити – описи товарів мають потрапляти у відповідіВідкрити
B2B-послуги, агентствоВідкрити – згадки формують попитВідкрити
Платний контент, бази данихЗакрити разом із платною зоноюВідкрити лише публічні сторінки
Високе навантаження на серверОбмежити через Crawl-delay або rate limitВідкрити з лімітом

Блокування навчальних краулерів не прибирає вас із AI-відповідей: сучасні системи частіше шукають джерела в реальному часі, ніж покладаються на "пам'ять" моделі. А от блокування індексаторів і user-ботів гарантовано позбавляє цитувань.

Як обмежити використання контенту без повного блокування?

Крім robots.txt, є м'якші інструменти.

Мета-теги на рівні сторінки дозволяють заборонити кешування та великі сніпети – це впливає на те, скільки тексту сервіс може показати:

<meta name="robots" content="index, follow, max-snippet:50, noarchive">

Для окремих сторінок (наприклад, платного розділу) можна поєднати індексацію в класичному пошуку з відмовою від AI-використання, але поведінка різних сервісів тут відрізняється і не завжди задокументована. Якщо потрібна гарантія – закривайте доступ авторизацією.

Ще один варіант – технічне обмеження частоти: ліміт запитів на рівні Nginx або CDN. Це знімає питання навантаження, не закриваючи сайт повністю.

Окремо перевірте налаштування Cloudflare та інших CDN: багато з них мають перемикач блокування AI-ботів, і він може бути увімкнений без вашого відома. Для нових доменів деякі провайдери вмикають такий захист за замовчуванням [перевірте: поточні налаштування вашого CDN].

Що зробити, щоб боти не просто заходили, а й цитували?

Доступ – це лише перша умова. Далі важливо, чи зможе бот витягти зміст сторінки.

  1. Віддавайте основний текст у HTML. Боти ШІ зазвичай не виконують JavaScript так само добре, як Googlebot, тож контент, який малюється на клієнті, часто для них порожній.
  2. Відповідайте на питання в перших 2–3 реченнях розділу. Моделі цитують короткі самодостатні фрагменти.
  3. Використовуйте зрозумілі заголовки у формі питань – так легше зіставити запит користувача з вашим блоком тексту.
  4. Додайте структуровані дані: Organization, Article, FAQPage, Product. Вони допомагають однозначно трактувати факти.
  5. Тримайте швидкість відповіді сервера в межах секунди – повільні сторінки частіше обриваються на таймауті.
  6. Оновлюйте дати публікації та правки: багато систем віддають перевагу свіжим джерелам.

Приклад мінімальної розмітки для сторінки з відповідями:

{
  "@context": "https://schema.org",
  "@type": "FAQPage",
  "mainEntity": [{
    "@type": "Question",
    "name": "Які боти ШІ сканують сайт?",
    "acceptedAnswer": {
      "@type": "Answer",
      "text": "Основні – GPTBot і OAI-SearchBot від OpenAI, ClaudeBot від Anthropic, PerplexityBot від Perplexity, а також CCBot, Applebot і Bytespider."
    }
  }]
}

Додатково можна покласти в корінь файл llms.txt – коротку карту ключових сторінок у Markdown. Це неофіційний стандарт, і підтримка його сервісами наразі не гарантована, але шкоди він не завдає:

# Example – сервіс доставки

> Доставка їжі в Києві, працюємо з 2015 року.

## Основне
- [Про компанію](https://example.com/about): історія, команда, контакти
- [Тарифи](https://example.com/pricing): ціни та умови
- [Поширені питання](https://example.com/faq): відповіді на 20 типових питань

Які помилки трапляються найчастіше?

Блокування ChatGPT-User і Perplexity-User "за компанію" з навчальними краулерами – найпоширеніша. Через це користувач, який явно попросив відкрити ваше посилання, бачить помилку доступу.

Друга помилка – агресивний WAF, який віддає 403 усьому, що не схоже на браузер. Перевірте логи: якщо боти ШІ отримують 403 або капчу, жодні правила в robots.txt уже не мають значення.

Третя – сліпа довіра user-agent. Будь-хто може підписатися GPTBot, щоб обійти ліміти. Звіряйте IP з офіційними списками.

Часті питання

Чи дотримуються боти ШІ правил robots.txt?

Великі оператори – OpenAI, Anthropic, Perplexity, Google, Apple – публічно заявляють, що дотримуються. Щодо деяких інших краулерів регулярно з'являються скарги на ігнорування правил. Якщо потрібна жорстка гарантія, блокуйте за user-agent і IP на рівні сервера або CDN.

Якщо я заблокую GPTBot, мій сайт зникне з ChatGPT?

Ні. GPTBot відповідає за збір даних для навчання. За пошук і цитування в ChatGPT відповідають OAI-SearchBot та ChatGPT-User – їх треба залишити відкритими.

Чому в Google Analytics не видно трафіку від ботів ШІ?

Боти не виконують JavaScript, тому лічильник не спрацьовує. Їхню активність видно лише в логах сервера або в статистиці CDN. Переходи живих людей з ChatGPT чи Perplexity, навпаки, видно – за реферером.

Чи потрібен файл llms.txt?

Він не обов'язковий і поки що не є офіційним стандартом для жодного з великих сервісів. Це дешевий спосіб дати машинам структуровану карту сайту, але він не замінює ні robots.txt, ні sitemap.xml, ні структуровані дані.

Як часто боти ШІ повертаються на сайт?

Залежить від сервісу та авторитетності домену, єдиного розкладу немає. Новини й часто оновлювані розділи зазвичай сканують активніше, статичні сторінки – рідше. Точні інтервали жоден з операторів публічно не фіксує.


Якщо ви не впевнені, чи відкритий ваш сайт для потрібних ботів і чи зможуть вони витягти з нього зміст – перевірте домен безкоштовно в Згадці: сервіс покаже оцінки GEO і SEO, знайде помилки доступу й віддасть готові файли robots.txt, llms.txt і розмітку schema.org разом із планом дій.


Fazier badge