AI Readiness Scanner — проверка доступа ChatGPT, Claude и Perplexity к вашему сайту
Бесплатно и без регистрации
Проверьте, действительно ли GPTBot, ClaudeBot, PerplexityBot, Googlebot и ещё 11 AI-агентов могут прочитать вашу страницу. Проверка правил robots.txt и живых ответов сервера с готовыми исправлениями.
Инициализация модуля
Оптимизация ресурсов и подготовка рабочего пространства...
Что такое AI Readiness Scanner — проверка доступа ChatGPT, Claude и Perplexity к вашему сайту?
Большинство владельцев сайтов не знают, какие AI-системы вообще могут прочитать их страницы. Эта информация разбросана по трём разным местам: файлу robots.txt, который мало кто внимательно читает, панели CDN с тумблером, о котором никто не помнит, и решению о рендеринге, принятому тем, кто когда-то верстал фронтенд.
Эти три места чаще расходятся, чем совпадают. robots.txt может приветствовать всех AI-краулеров, пока правило Cloudflare «Block AI Scrapers» тихо возвращает 403 всем подряд. Сайт может пройти любую техническую проверку и всё равно отдавать пустой div всему, что не исполняет JavaScript.
AI Readiness Scanner проверяет все три места за один проход.
Сначала robots.txt. Сканер реализует правила сопоставления RFC 9309 по-настоящему: побеждает самый длинный совпавший токен user-agent, внутри него — самый длинный совпавший путь, а при равной длине Allow побеждает Disallow. Это важно: наивная проверка сообщит, что `User-agent: Google-Extended / Disallow: /` блокирует Googlebot. Это не так — это разные продуктовые токены с совершенно разными последствиями.
Второе — живой ответ. Для каждого агента сканер отправляет настоящий запрос с его User-Agent и сравнивает результат с базовым браузерным запросом. 403, 429, интерстициал Cloudflare или ответ HTTP 402 pay-per-crawl — всё это видно здесь, даже если robots.txt утверждает, что агент желанный гость.
Третье — рендеринг. Сканер читает тот HTML, который реально отдаёт сервер, до выполнения любого скрипта, и ищет признак нерасгидратированного SPA: точку монтирования фреймворка, которая пришла пустой. Если контент появляется только после гидратации, каждый AI-краулер, кроме Googlebot, видит пустую страницу.
В отчёте краулеры, строящие индекс, отделены от агентов, которые заходят на страницу в реальном времени по запросу пользователя, — потому что заблокировать одних и заблокировать других означает совершенно разные вещи. К каждой находке прилагается точное правило, которое её вызвало, и конкретное изменение, которое всё исправит.
Ключевые особенности
- 15 AI-агентов, сгруппированных по тому, чего реально стоит блокировка: поисковый индекс, живой заход или обучение модели
- Сопоставление robots.txt по RFC 9309 — самый длинный токен user-agent, самый длинный путь, Allow побеждает при равенстве
- Живые пробы User-Agent, которые ловят блокировки CDN и WAF, о которых robots.txt ничего не знает
- Определение Cloudflare pay-per-crawl (HTTP 402) и интерстициалов-челленджей
- Определение клиентского рендеринга: находит контент, который есть в браузере, но отсутствует в HTML, получаемом краулерами
- Проверка микроразметки, meta robots, X-Robots-Tag, сигналов noai, sitemap, llms.txt и TTFB
- Каждая находка включает точное правило-нарушителя и конкретное исправление
- Честно указывает, чего метод не видит, вместо того чтобы создавать ложную уверенность
Примеры использования
- Маркетологи проверяют, почему хорошо ранжируемая страница никогда не появляется в ответах ChatGPT или Perplexity
- Разработчики проверяют, что сайт на Next.js или React рендерит контент на сервере для AI-краулеров
- Владельцы сайтов проводят аудит robots.txt, доставшегося в наследство и никогда не прочитанного целиком
- Агентства готовят быструю, подкреплённую данными проверку AI-видимости для потенциального клиента
- Те, кто включил тумблер защиты от ботов в CDN и хочет узнать, что именно он заблокировал
Этот инструмент работает на наших серверах
AI Readiness Scanner показывает, могут ли AI-ассистенты на самом деле прочитать ваш сайт. Введите URL — и сканер проверит 15 AI-агентов: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Googlebot, bingbot, Applebot-Extended, meta-externalagent, Amazonbot и CCBot — по правилам вашего robots.txt, а затем отправит живой запрос с User-Agent каждого агента, чтобы увидеть, не отказывает ли им сервер или CDN вопреки этим правилам. Отдельно проверяется, есть ли контент в исходном HTML — ведь ни один AI-краулер, кроме Googlebot, не исполняет JavaScript.
Как использовать
Введите URL
Вставьте адрес любой публичной страницы. Схема не обязательна — example.com работает так же, как https://example.com/page.
Запустите сканирование
Сканер загружает robots.txt, отправляет живую пробу для каждого из 15 AI-агентов и читает исходный HTML, который отдаёт ваш сервер.
Изучите матрицу доступа
Агенты сгруппированы по назначению. Красный означает блокировку — либо правилом robots.txt, либо прямым отказом сервера.
Разберите список проблем
Находки отсортированы по важности. Раскройте любую, чтобы увидеть точное правило, вызвавшее проблему, и исправление.
Пересканируйте после исправления
Результаты кэшируются на 24 часа для каждого URL — учитывайте это при повторной проверке.
Часто задаваемые вопросы
?Если заблокировать GPTBot, я исчезну из ChatGPT?
Нет, и это самое частое заблуждение. GPTBot собирает данные для обучения модели. Результаты поиска в ChatGPT приходят от OAI-SearchBot, а ChatGPT-User — это то, что открывает страницу, когда пользователь спрашивает про конкретную ссылку. Заблокировать GPTBot, разрешив два остальных, — вполне осмысленное решение: контент не попадёт в обучение, но останется в ответах.
?Влияет ли Google-Extended на AI Overviews?
Нет. Google-Extended управляет только тем, используется ли контент для обучения и grounding Gemini. AI Overviews формируются из обычного поискового индекса Google, который строит Googlebot. Если цель — не попасть в AI Overviews, Google-Extended для этого не подходит.
?Почему сканер пишет, что бот заблокирован, хотя мой robots.txt его разрешает?
Потому что robots.txt — не единственное, что решает. Такой результат означает, что ваш сервер или CDN вернули отказ — 403, лимит запросов или челлендж-страницу — на запрос с User-Agent этого агента. Чаще всего причина — настройка Cloudflare «Block AI Scrapers and Crawlers», и она перекрывает то, что написано в robots.txt.
?Пробы отправляются с реальных IP-адресов краулеров?
Нет. Они уходят с наших серверов с выставленным User-Agent краулера. Это ловит подавляющее большинство блокировок, которые построены на User-Agent. Блокировки по диапазону IP или ASN так не поймать — для них нужно смотреть логи собственного сервера, и только там есть настоящая картина.
?Нужен ли мне файл llms.txt?
Не особо, и мы лучше скажем это прямо, чем продадим вам галочку. Сегодня ни один крупный AI-краулер не читает llms.txt. Сканер сообщает о его наличии, потому что проверка ничего не стоит, но вес в оценке у него небольшой, и это точно не приоритет по сравнению с серверным рендерингом контента.
?Означает ли доступность, что меня будут цитировать?
Нет. Доступ необходим, но недостаточен. Открытая, быстрая, хорошо размеченная страница всё равно может остаться незамеченной каждым ассистентом — потому что цитирование зависит от того, отвечает ли контент на реальные вопросы людей. Этот сканер измеряет, открыта ли дверь, а не проходит ли через неё кто-то.
?Сканирование бесплатное?
Да. Оно работает на обычных HTTP-проверках без единого обращения к AI-модели, поэтому запуск почти ничего нам не стоит. Есть часовой лимит на посетителя, чтобы инструмент не использовали как бесплатный прокси для чужого краулинга.
Нужен специальный инструмент?
Мы постоянно добавляем новые инструменты. Предложите свой или сообщите об ошибке.
Похожие инструменты
Генератор robots.txt
Бесплатный инструмент для создания правильного файла robots.txt с функцией блокировки ботов ИИ.
Free AGENTS.md / CLAUDE.md Generator
Generate a ready-to-use AGENTS.md or CLAUDE.md project-instructions file for AI coding and writing agents. Pick your project type, answer a short wizard, done.
Симулятор Цветовой Слепоты (Дальтонизма)
Проверьте изображения на доступность для различных форм цветовой слепоты (дейтеранопия, протанопия, тританопия) в реальном времени.
Визуальный Конструктор Таблиц Markdown
Создавайте, редактируйте и стилизуйте таблицы Markdown в визуальном редакторе. Импорт CSV, разбор существующего Markdown и экспорт красивого кода.
Бесплатный онлайн счётчик токенов — GPT-5.4, Claude 4.6, Gemini 3.5
Считайте токены для GPT-5.4, Claude 4.6, Gemini 3.5 и Llama 4 мгновенно. См. использование контекстного окна, примерную стоимость и обрезку текста — 100% в браузере.
Бесплатный онлайн конвертер Word в Markdown — DOCX в MD
Конвертируйте документы Word (.docx) в чистый Markdown мгновенно в браузере. Сохраняет заголовки, списки, таблицы и ссылки. Без загрузки, 100% приватно.