Генератор robots.txt

Гайд: как пользоваться

Пошаговая инструкция в блоге

Генератор robots.txt

Создание файлов Robots.txt

По умолчанию для всех роботов

Задержка сканирования

Sitemap

Google

Google Images

Google Mobile

MSN Search

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teeoma

GigaBlast

DMOZ Checker

Nutch

Alexa / Wayback

Baidu

Naver

MSN PicSearch

Запрещенные каталоги

Генератор Robots.txt — это полезный инструмент, который помогает создавать файлы Robots.txt для обработки различных типов посетителей-ботов на вашем веб-сайте.

Похожие инструменты

Генератор манифеста PWA

Создайте полностью совместимый манифест веб-приложения (manifest.json) для вашего прогрессивного веб-приложения за считанные секунды.

Генератор тегов Hreflang

Создайте правильные теги hreflang для вашего многоязычного веб-сайта.

Конвертер Htaccess в Nginx

Преобразуйте правила и конфигурации перенаправления .htaccess в синтаксис, совместимый с Nginx.

Конвертер Nginx в Htaccess

Преобразуйте правила конфигурации Nginx и перенаправления в синтаксис Apache .htaccess.

WHOIS домена

Получите информацию WHOIS о доменном имени.

Валидатор AMP

Проверьте свои ускоренные мобильные страницы (AMP) на наличие ошибок.

JSON-LD Валидатор и автоисправитель

Проверьте, отформатируйте и исправьте код JSON-LD Schema.org.

Контакты

Чего-то не хватает?

Напишите нам: предложите новый инструмент или оставьте отзыв через форму обратной связи.

Контакты