Генератор robots.txt — бесплатно онлайн
Поисковики ищут на сайте маленький файл robots.txt, чтобы понять, какие страницы им можно смотреть. Писать его руками неудобно, а одна неверная строка может спрятать весь сайт или, наоборот, открыть ботам то, что вы хотели скрыть. Мы добавили бесплатный инструмент, который сделает это за вас — Robots.txt Generator — прямо в браузере.
Что он делает
Вы собираете правильный robots.txt, не запоминая точные формулировки. Возьмите готовый шаблон или задайте свои правила для каждого бота — что разрешить, а что закрыть. Файл получается аккуратным и в нужном формате, его сразу можно класть на сайт.
Ничего не уходит с вашего устройства
Всё работает прямо в браузере. Ваши правила и готовый файл никуда не загружаются и не сохраняются на сервере. Закрыли вкладку — ничего не осталось.
Как пользоваться
- Откройте Robots.txt Generator и выберите шаблон или начните с нуля.
- Добавьте правила — укажите для каждого бота, что разрешить, а что запретить.
- Скопируйте результат или скачайте robots.txt и положите его в корень сайта.
Это бесплатно и без ограничений. Другие небольшие инструменты есть на странице приложений.