Блог про GEO і SEO

Як відкрити сайт для GPTBot у robots.txt – код і перевірка

Щоб відкрити сайт для GPTBot, достатньо, щоб у robots.txt не було правила, яке його забороняє, або щоб була явна група User-agent: GPTBot з Allow: /. Але доступ до сайту для ChatGPT визначає не лише GPTBot: за показ сторінок у відповідях відповідають ще OAI-SearchBot і ChatGPT-User, тож відкривати потрібно всіх трьох. Після зміни файлу перевірку роблять не «на око», а за логами сервера – чи приходять реальні запити від цих агентів і який код відповіді вони отримують.

Чим GPTBot відрізняється від інших ботів OpenAI?

OpenAI використовує кілька user-agent для різних задач, і блокування одного не впливає на інші. Це найчастіша помилка: сайт закрили від GPTBot «щоб не вчилися на контенті», а потім дивуються, чому ChatGPT не цитує сторінки.

User-agentДля чогоЩо буде, якщо заблокувати
GPTBotМасовий обхід сайтів, зокрема для навчання моделейКонтент не потрапляє в навчальні дані
OAI-SearchBotІндексація для пошуку всередині ChatGPTСторінки не з'являються як джерела у відповідях з пошуком
ChatGPT-UserПерехід за посиланням у відповідь на запит конкретного користувачаChatGPT не зможе відкрити вашу сторінку «на льоту»

Для видимості в AI-відповідях критичні другий і третій рядки. GPTBot впливає радше на довгострокову «обізнаність» моделі про бренд. Рішення тут бізнесове: якщо ви не проти навчання на вашому контенті – відкривайте все.

Інші системи мають власних ботів: PerplexityBot, ClaudeBot, Google-Extended (контроль навчання Gemini, не впливає на індексацію Google), Bingbot (працює і для Copilot), Applebot-Extended. Правила для них пишуться окремими групами.

Який код у robots.txt відкриває сайт для GPTBot?

Мінімальний варіант – явно дозволити всіх ботів OpenAI:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Важлива деталь роботи robots.txt: бот застосовує лише одну групу правил – найточнішу, що збігається з його іменем. Якщо для GPTBot є окрема група, то все, що написано в User-agent: *, для нього вже не діє. Тому таке поєднання працює коректно:

User-agent: *
Disallow: /

User-agent: GPTBot
Allow: /

Тут усі боти закриті, а GPTBot – відкритий. І навпаки: якщо ви бачите у файлі User-agent: GPTBot з Disallow: /, загальний дозвіл нижче ситуацію не виправить, рядок треба прибрати або змінити.

Якщо жодного згадування GPTBot у файлі немає і немає глобальної заборони, сайт уже відкритий – robots.txt за замовчуванням дозвільний. Явна група все одно корисна: вона знімає сумніви й захищає від випадкових змін у шаблоні CMS.

Як відкрити сайт, але закрити службові розділи?

Повний Allow: / потрібен не завжди. Кабінети, кошик, пошук по сайту, UTM-сміття краще не віддавати нікому – ці сторінки не мають цінності як джерело відповіді.

User-agent: GPTBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account/
Disallow: /*?s=

User-agent: OAI-SearchBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account/

User-agent: ChatGPT-User
Allow: /

ChatGPT-User варто лишати максимально відкритим: це перехід за конкретним посиланням, яким уже зацікавився користувач.

Правило з Disallow має пріоритет над менш специфічним Allow: виграє довше правило. Якщо потрібно відкрити підрозділ усередині закритої гілки, пишіть довший шлях:

Disallow: /blog/drafts/
Allow: /blog/drafts/public-preview/

Чому robots.txt дозволяє, а бот усе одно не заходить?

robots.txt – це лише інструкція, а реальний доступ дає сервер. Типові причини, через які GPTBot не бачить сторінок попри дозвіл:

  1. CDN або WAF блокує AI-ботів. У Cloudflare є окремі перемикачі на кшталт блокування AI-скраперів і режимів захисту від ботів; подібні правила є в інших провайдерів. Їх треба вимкнути або додати виняток.
  2. Правило на рівні вебсервера. У nginx чи Apache міг лишитися фрагмент, що віддає 403 за збігом user-agent.
  3. Геоблокування. Запити з дата-центрів іншої країни відсікаються ще до застосунку.
  4. Жорсткий rate limit. Бот отримує 429 і зменшує частоту обходу.
  5. Капча або «перевірка браузера» на всіх сторінках – краулер не проходить її.
  6. Контент рендериться тільки на клієнті. Частина AI-краулерів не виконує JavaScript, тож бачить порожній HTML. Якщо текст з'являється лише після виконання скриптів, потрібен SSR або попередній рендеринг.
  7. Заголовок X-Robots-Tag або мета-тег noindex на рівні сервера скасовує намір robots.txt для пошукових систем.

Перевірте заголовки відповіді:

curl -sI https://example.com/ | grep -i -E "x-robots-tag|cf-|server"

І мета-теги в коді сторінки:

<meta name="robots" content="index, follow, max-snippet:-1, max-image-preview:large">

Директива max-snippet:-1 важлива: вона знімає обмеження на довжину фрагмента, який система може показати у відповіді.

Як перевірити, що GPTBot реально заходить на сайт?

Крок 1. Перевірте сам файл

Відкрийте https://ваш-домен/robots.txt у браузері в режимі інкогніто. Файл має віддаватися з кодом 200 і типом text/plain. Частий збій: CMS віддає robots.txt тільки для одного домену, а для www або https-версії – 404.

curl -s -o /dev/null -w "%{http_code}\n" https://example.com/robots.txt

Крок 2. Змоделюйте запит бота

curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot" \
  -s -o /dev/null -w "%{http_code}\n" https://example.com/

Очікуваний результат – 200. Якщо 403, 503 або редирект на капчу, блокує сервер чи CDN, а не robots.txt. Порівняйте з відповіддю на звичайний браузерний user-agent – різниця вкаже на правило фільтрації.

Крок 3. Знайдіть справжні візити в логах

Це єдина надійна перевірка. У логах nginx:

grep -i -E "GPTBot|OAI-SearchBot|ChatGPT-User" /var/log/nginx/access.log | tail -50

Зведення за кодами відповіді:

grep -i "GPTBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Дивіться на дві речі: чи є записи взагалі і які коди переважають. Суцільні 200 – добре. Багато 403 або 429 – проблема на вашому боці.

Крок 4. Переконайтеся, що бот справжній

User-agent легко підробити, тому візити з «GPTBot» можуть належати скраперу. OpenAI публікує діапазони IP для своїх ботів окремими файлами на власному сайті [перевірте: актуальні адреси файлів з діапазонами IP GPTBot, OAI-SearchBot і ChatGPT-User у документації OpenAI]. Звірте IP з логів із цими списками, перш ніж робити висновки про навантаження чи додавати правила.

Крок 5. Перевірте, чи сайт уже цитується

Доступ бота і згадки у відповідях – різні речі. Поставте в ChatGPT кілька запитів, за якими вас мали б згадувати, і подивіться список джерел. Робіть це регулярно: склад джерел змінюється.

Що ще зробити після відкриття robots.txt?

Відкритий краулінг – необхідна, але не достатня умова цитування. Далі працює якість контенту і структура даних.

Додайте llms.txt – текстовий файл у корені з коротким описом сайту й посиланнями на ключові матеріали. Формат поки не є офіційним стандартом жодної з AI-систем, тож сприймайте його як недорогу гіпотезу, а не гарантію.

# Назва компанії

> Коротко: чим займається компанія, для кого, в яких регіонах.

## Основні сторінки
- [Послуги](https://example.com/services): перелік і ціни
- [Блог](https://example.com/blog): практичні матеріали
- [Контакти](https://example.com/contacts): адреси, телефони

## Контакт
email@example.com

Додайте розмітку schema.org. Вона допомагає системам однозначно зчитувати факти про організацію.

{
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "Назва компанії",
  "url": "https://example.com",
  "logo": "https://example.com/logo.png",
  "sameAs": [
    "https://www.linkedin.com/company/example",
    "https://www.facebook.com/example"
  ],
  "contactPoint": {
    "@type": "ContactPoint",
    "telephone": "+380XXXXXXXXX",
    "contactType": "customer service",
    "areaServed": "UA"
  }
}

Перевірте швидкість і стабільність. Якщо сервер часто віддає 5xx, частота обходу падає, і свіжі матеріали потрапляють у відповіді з затримкою.

Тримайте sitemap.xml актуальним і вказуйте його в robots.txt – це найпростіший спосіб показати краулеру повний перелік сторінок.

Часті питання

Чи потрібно перезавантажувати сервер після зміни robots.txt?

Ні. Файл віддається статично, зміни діють одразу. Але боти кешують robots.txt на деякий час, тож нові правила можуть застосуватися не з першого запиту. На практиці йдеться про години – дні.

Якщо я відкрию GPTBot, мій контент використають для навчання моделі?

Так, це і є призначення GPTBot. Якщо ви проти навчання, але хочете бути джерелом у відповідях, закрийте GPTBot і залиште відкритими OAI-SearchBot та ChatGPT-User. Юридичну сторону узгоджуйте окремо.

Як заборонити GPTBot лише для частини сайту?

Додайте окрему групу з потрібними Disallow. Наприклад, Disallow: /pricing/ закриє розділ цін, а решта сайту лишиться відкритою. Пам'ятайте, що robots.txt публічний, тому не перелічуйте в ньому адреси, які мають бути таємними.

Чому в логах немає жодного запиту від GPTBot?

Можливі варіанти: сайт новий або з малою кількістю зовнішніх посилань; логи не зберігають user-agent; запити відсікає CDN і до вашого сервера вони не доходять. Почніть із перевірки налаштувань CDN та формату логів.

Чи впливають правила для GPTBot на позиції в Google?

Ні. Google користується Googlebot, а контроль навчання Gemini – це Google-Extended, окрема директива, яка не впливає на класичну індексацію. Правила для OpenAI на органічну видимість у Google не діють.

Якщо хочете побачити, як ваш сайт виглядає з боку AI-систем просто зараз – зробіть безплатну перевірку в Згадці: сервіс покаже GEO- і SEO-оцінку, знайдені помилки доступу для ботів і дасть готові файли robots.txt, llms.txt та schema.org під ваш домен.


Fazier badge