Проверка robots.txt — бесплатно онлайн
Вы поправили robots.txt и теперь не уверены: сможет ли Google зайти на эту страницу или вы случайно её закрыли? Читать эти правила глазами легко с ошибкой, и одна лишняя строчка может спрятать от поиска целый раздел сайта. Мы добавили бесплатный инструмент, который проверит это за вас — Robots.txt Tester — прямо в браузере.
Что он делает
Вставьте содержимое robots.txt, впишите путь URL и выберите user-agent (например, Googlebot) — и инструмент сразу скажет, разрешён этот путь или закрыт. Он ещё покажет точное правило, которое приняло решение, так что вы видите, какая именно строчка сработала, и можете её поправить, если она неверная.
Ничего не уходит с устройства
Вся проверка идёт прямо в браузере. Ваш robots.txt и пути, которые вы проверяете, никуда не загружаются и нигде не сохраняются. Закрыли вкладку — и ничего не осталось.
Как пользоваться
- Откройте Robots.txt Tester и вставьте содержимое robots.txt в поле.
- Впишите путь URL, который хотите проверить, и выберите user-agent.
- Посмотрите результат — «Разрешён» или «Закрыт» — и точное правило, из-за которого так вышло.
Это бесплатно и без ограничений. Другие небольшие инструменты есть на странице приложений.