Robots.txt Тестер

Вставьте содержимое вашего robots.txt, укажите URL-путь и user-agent — и сразу увидите, разрешён или заблокирован путь, а также какое именно правило совпало.

Содержимое robots.txt

URL-путь для проверки

User-agent

Работает полностью в вашем браузере. Ничего не загружается на сервер.

Как это работает

STEP 1

Вставьте ваш robots.txt

Скопируйте содержимое вашего файла robots.txt и вставьте его в текстовое поле.

STEP 2

Укажите путь и user-agent

Введите URL-путь, который хотите проверить (например, /blog/post), и user-agent краулера (например, Googlebot).

STEP 3

Посмотрите результат

Нажмите «Тест» — получите мгновенный вердикт «Разрешено» или «Заблокировано» с конкретным совпавшим правилом.