Генератор robots.txt

Создание файлов Robots.txt. Бесплатно в браузере, без установки.

По умолчанию для всех роботов

Задержка сканирования

Sitemap

Google

Google Images

Google Mobile

MSN Search

Yahoo

Yahoo MM

Yahoo Blogs

Ask/Teeoma

GigaBlast

DMOZ Checker

Nutch

Alexa / Wayback

Baidu

Naver

MSN PicSearch

Запрещенные каталоги

Генератор Robots.txt — это полезный инструмент, который помогает создавать файлы Robots.txt для обработки различных типов посетителей-ботов на вашем веб-сайте.

Похожие инструменты

Генератор канонических URL

Создавайте действительные канонические теги, чтобы избежать проблем с дублированием контента.

JSON-LD Валидатор и автоисправитель

Проверьте, отформатируйте и исправьте код JSON-LD Schema.org. Бесплатно в браузере, без установки.

Генератор SEO-тегов

Создавайте теги SEO и OpenGraph для вашего сайта. Бесплатно в браузере, без установки.

Проверка кода состояния HTTP

Проверка кодов состояния HTTP по URL-адресам. Бесплатно в браузере, без установки и регистрации.

Микроданные в JSON-LD

Преобразуйте микроданные HTML в действительный формат схемы JSON-LD для улучшения SEO и управления структурированными данными.

URL-парсер

Анализируйте и извлекайте детали из URL. Бесплатно в браузере, без установки.

Средство проверки совместимости PWA

Проверьте свой веб-сайт на наличие функций Progressive Web App. Бесплатно в браузере, без установки.

Облако ключевых слов и тепловая карта плотности

Проанализируйте содержимое вашего сайта, чтобы найти наиболее используемые ключевые слова.