Генератор robots.txt

Укажите, кто может сканировать ваш сайт и что доступно — выберите пресет или добавьте правила для каждого бота, Crawl-delay и ссылку на Sitemap. Скопируйте или скачайте готовый robots.txt. Ничего не загружается.

Быстрый старт

Правила для краулеров

URL Sitemap (необязательно)

Host (необязательно)

Ваш robots.txt Разместите этот файл в корне сайта, чтобы он был доступен по адресу /robots.txt.

Работает полностью в вашем браузере. Без загрузки, без регистрации — правила остаются на вашем устройстве.

Как это работает

STEP 1

Выберите отправную точку

Выберите «Разрешить всё», «Блокировать всё» или «Настроить» — затем уточните правила ниже.

STEP 2

Задайте правила для каждого бота

Укажите User-agent (или * для всех) и перечислите пути для Allow или Disallow. При необходимости добавьте Crawl-delay или ссылку на Sitemap.

STEP 3

Скопируйте или скачайте

Возьмите готовый robots.txt и поместите его в корень сайта, чтобы он был доступен по адресу /robots.txt. Ничего не загружается.