Які боти ШІ сканують сайт – GPTBot, ClaudeBot, PerplexityBot
Сайт сканують щонайменше три типи ботів ШІ: краулери для навчання моделей (GPTBot, ClaudeBot, CCBot), індексатори для пошуку всередині чатів (OAI-SearchBot, PerplexityBot, Claude-SearchBot) і боти, які переходять на сторінку прямо під час відповіді користувачу (ChatGPT-User, Perplexity-User, Claude-User). Блокувати їх усіх разом – помилка: разом із навчанням ви відріжете себе від цитувань в AI-відповідях. Правильний підхід – дозволити індексатори та user-боти, а рішення щодо навчальних краулерів ухвалювати окремо.
Які саме боти ШІ ходять сайтом?
Нижче – основні user-agent, які сьогодні реально зустрічаються в логах. Точні рядки варто звіряти з документацією власника бота, бо назви час від часу змінюються.
| User-agent | Чий | Для чого заходить | Наслідок блокування |
|---|---|---|---|
GPTBot | OpenAI | Збір даних для навчання моделей | Контент не потрапляє в навчальні дані; на видимість у ChatGPT Search прямо не впливає |
OAI-SearchBot | OpenAI | Індексація для пошуку в ChatGPT | Сайт зникає з результатів пошуку ChatGPT |
ChatGPT-User | OpenAI | Перехід на сторінку за запитом користувача | ChatGPT не зможе відкрити вашу сторінку за посиланням |
ClaudeBot | Anthropic | Сканування для навчання | Контент не потрапляє в навчальні дані Claude |
Claude-SearchBot | Anthropic | Індексація для пошуку в Claude | Менше шансів бути джерелом у відповідях Claude |
Claude-User | Anthropic | Відкриття сторінки на запит користувача | Claude не прочитає сторінку в діалозі |
PerplexityBot | Perplexity | Індексація сайтів для цитувань | Сайт не цитується в Perplexity |
Perplexity-User | Perplexity | Перехід за посиланням під час відповіді | Сторінка не відкривається для користувача |
Googlebot | Класичний пошук + база для AI Overviews | Зникнення з Google і з AI Overviews | |
Google-Extended | Токен керування навчанням Gemini/Vertex | Контент не йде на навчання, пошук не страждає | |
bingbot | Microsoft | Індекс Bing, на якому працює Copilot | Зникнення з Bing і Copilot |
Applebot | Apple | Siri, Spotlight, пошук Apple | Втрата видимості в сервісах Apple |
Applebot-Extended | Apple | Токен відмови від навчання Apple Intelligence | Контент не використовується для навчання |
Є й друга група – краулери, які частіше збирають дані масово або обслуговують менші сервіси: CCBot (Common Crawl, його дампи використовують багато команд для навчання), meta-externalagent і meta-externalfetcher (Meta), Amazonbot, Bytespider (ByteDance), DuckAssistBot (DuckDuckGo), YouBot (You.com), MistralAI-User, cohere-ai та cohere-training-data-crawler.
Окремо варто пам'ятати: Google-Extended і Applebot-Extended – це не живі боти, а токени в robots.txt. Вони не роблять запитів, але правила для них визначають, чи піде ваш контент у навчання.
Чим краулер для навчання відрізняється від бота, що приходить за запитом користувача?
Навчальний краулер (GPTBot, ClaudeBot, CCBot) обходить сайт пачками, зберігає текст і використовує його для тренування моделей. Ваша сторінка в такому разі впливає на "знання" моделі загалом, але без гарантованого посилання на вас.
Пошуковий індексатор (OAI-SearchBot, PerplexityBot, Claude-SearchBot) будує власний індекс, з якого система дістає джерела під час відповіді. Саме він відповідає за те, чи з'явиться ваш домен у списку посилань.
User-бот (ChatGPT-User, Perplexity-User, Claude-User) заходить тут і зараз, бо хтось поставив питання або дав посилання. Такі запити поодинокі, але вони найцінніші: це фактично живий трафік через ШІ.
Практичний висновок: якщо ви хочете, щоб вас цитували, індексатори й user-боти мають бути відкриті завжди. Навчальні краулери – питання вашої політики щодо контенту.
Як перевірити, чи заходять боти ШІ на мій сайт?
Google Analytics тут не допоможе: боти не виконують JavaScript, тож у звітах їх не видно. Потрібні логи сервера або панель CDN.
- Візьміть access-лог за останні 7–30 днів (
/var/log/nginx/access.logабо еквівалент). - Відфільтруйте відомі user-agent і порахуйте кількість запитів.
- Перевірте коди відповідей: 200 – добре, 403/429 – бота блокує сервер або WAF.
- Подивіться, які саме URL сканують: важливі сторінки чи лише службові.
- Перевірте автентичність – шахраї часто підписуються чужими user-agent.
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Applebot|Bytespider" \
/var/log/nginx/access.log \
| awk '{print $NF, $9}' | sort | uniq -c | sort -rn | head -40
Для перевірки справжності бота використовуйте опубліковані списки IP: OpenAI, Anthropic і Perplexity викладають їх у відкритому доступі, Google та Bing перевіряються через зворотний DNS. Якщо запит із user-agent GPTBot приходить з адреси поза офіційним діапазоном – це підробка, і її можна блокувати без вагань.
Як дозволити або заблокувати ботів ШІ в robots.txt?
Боти великих компаній декларують, що дотримуються robots.txt. Щодо окремих краулерів у спільноті регулярно виникають суперечки про коректність поведінки [перевірте: актуальні повідомлення про ботів, які ігнорують robots.txt], тож для критичних випадків надійніше блокувати на рівні сервера чи WAF.
Варіант "максимальна видимість у ШІ, без навчання":
# Пошук та цитування – дозволено
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Навчання моделей – заборонено
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
Sitemap: https://example.com/sitemap.xml
Варіант "відкриваємо все, крім службових розділів" – для більшості комерційних сайтів він вигідніший:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search
Disallow: /admin/
Allow: /
Sitemap: https://example.com/sitemap.xml
Важлива деталь: директива для User-agent: * не поширюється на бота, для якого є власний блок. Якщо ви прописали окремий блок для GPTBot, він читатиме лише його і проігнорує загальні правила.
Чи варто блокувати ботів ШІ?
| Ситуація | Що робити з навчальними краулерами | Що робити з індексаторами |
|---|---|---|
| Контентний сайт, медіа, блог | Можна закрити, якщо контент – основний актив | Відкрити |
| Інтернет-магазин | Відкрити – описи товарів мають потрапляти у відповіді | Відкрити |
| B2B-послуги, агентство | Відкрити – згадки формують попит | Відкрити |
| Платний контент, бази даних | Закрити разом із платною зоною | Відкрити лише публічні сторінки |
| Високе навантаження на сервер | Обмежити через Crawl-delay або rate limit | Відкрити з лімітом |
Блокування навчальних краулерів не прибирає вас із AI-відповідей: сучасні системи частіше шукають джерела в реальному часі, ніж покладаються на "пам'ять" моделі. А от блокування індексаторів і user-ботів гарантовано позбавляє цитувань.
Як обмежити використання контенту без повного блокування?
Крім robots.txt, є м'якші інструменти.
Мета-теги на рівні сторінки дозволяють заборонити кешування та великі сніпети – це впливає на те, скільки тексту сервіс може показати:
<meta name="robots" content="index, follow, max-snippet:50, noarchive">
Для окремих сторінок (наприклад, платного розділу) можна поєднати індексацію в класичному пошуку з відмовою від AI-використання, але поведінка різних сервісів тут відрізняється і не завжди задокументована. Якщо потрібна гарантія – закривайте доступ авторизацією.
Ще один варіант – технічне обмеження частоти: ліміт запитів на рівні Nginx або CDN. Це знімає питання навантаження, не закриваючи сайт повністю.
Окремо перевірте налаштування Cloudflare та інших CDN: багато з них мають перемикач блокування AI-ботів, і він може бути увімкнений без вашого відома. Для нових доменів деякі провайдери вмикають такий захист за замовчуванням [перевірте: поточні налаштування вашого CDN].
Що зробити, щоб боти не просто заходили, а й цитували?
Доступ – це лише перша умова. Далі важливо, чи зможе бот витягти зміст сторінки.
- Віддавайте основний текст у HTML. Боти ШІ зазвичай не виконують JavaScript так само добре, як Googlebot, тож контент, який малюється на клієнті, часто для них порожній.
- Відповідайте на питання в перших 2–3 реченнях розділу. Моделі цитують короткі самодостатні фрагменти.
- Використовуйте зрозумілі заголовки у формі питань – так легше зіставити запит користувача з вашим блоком тексту.
- Додайте структуровані дані:
Organization,Article,FAQPage,Product. Вони допомагають однозначно трактувати факти. - Тримайте швидкість відповіді сервера в межах секунди – повільні сторінки частіше обриваються на таймауті.
- Оновлюйте дати публікації та правки: багато систем віддають перевагу свіжим джерелам.
Приклад мінімальної розмітки для сторінки з відповідями:
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [{
"@type": "Question",
"name": "Які боти ШІ сканують сайт?",
"acceptedAnswer": {
"@type": "Answer",
"text": "Основні – GPTBot і OAI-SearchBot від OpenAI, ClaudeBot від Anthropic, PerplexityBot від Perplexity, а також CCBot, Applebot і Bytespider."
}
}]
}
Додатково можна покласти в корінь файл llms.txt – коротку карту ключових сторінок у Markdown. Це неофіційний стандарт, і підтримка його сервісами наразі не гарантована, але шкоди він не завдає:
# Example – сервіс доставки
> Доставка їжі в Києві, працюємо з 2015 року.
## Основне
- [Про компанію](https://example.com/about): історія, команда, контакти
- [Тарифи](https://example.com/pricing): ціни та умови
- [Поширені питання](https://example.com/faq): відповіді на 20 типових питань
Які помилки трапляються найчастіше?
Блокування ChatGPT-User і Perplexity-User "за компанію" з навчальними краулерами – найпоширеніша. Через це користувач, який явно попросив відкрити ваше посилання, бачить помилку доступу.
Друга помилка – агресивний WAF, який віддає 403 усьому, що не схоже на браузер. Перевірте логи: якщо боти ШІ отримують 403 або капчу, жодні правила в robots.txt уже не мають значення.
Третя – сліпа довіра user-agent. Будь-хто може підписатися GPTBot, щоб обійти ліміти. Звіряйте IP з офіційними списками.
Часті питання
Чи дотримуються боти ШІ правил robots.txt?
Великі оператори – OpenAI, Anthropic, Perplexity, Google, Apple – публічно заявляють, що дотримуються. Щодо деяких інших краулерів регулярно з'являються скарги на ігнорування правил. Якщо потрібна жорстка гарантія, блокуйте за user-agent і IP на рівні сервера або CDN.
Якщо я заблокую GPTBot, мій сайт зникне з ChatGPT?
Ні. GPTBot відповідає за збір даних для навчання. За пошук і цитування в ChatGPT відповідають OAI-SearchBot та ChatGPT-User – їх треба залишити відкритими.
Чому в Google Analytics не видно трафіку від ботів ШІ?
Боти не виконують JavaScript, тому лічильник не спрацьовує. Їхню активність видно лише в логах сервера або в статистиці CDN. Переходи живих людей з ChatGPT чи Perplexity, навпаки, видно – за реферером.
Чи потрібен файл llms.txt?
Він не обов'язковий і поки що не є офіційним стандартом для жодного з великих сервісів. Це дешевий спосіб дати машинам структуровану карту сайту, але він не замінює ні robots.txt, ні sitemap.xml, ні структуровані дані.
Як часто боти ШІ повертаються на сайт?
Залежить від сервісу та авторитетності домену, єдиного розкладу немає. Новини й часто оновлювані розділи зазвичай сканують активніше, статичні сторінки – рідше. Точні інтервали жоден з операторів публічно не фіксує.
Якщо ви не впевнені, чи відкритий ваш сайт для потрібних ботів і чи зможуть вони витягти з нього зміст – перевірте домен безкоштовно в Згадці: сервіс покаже оцінки GEO і SEO, знайде помилки доступу й віддасть готові файли robots.txt, llms.txt і розмітку schema.org разом із планом дій.