Перейти к содержимому
AI Витрина

Генератор robots.txt и sitemap

Создаёт optimized robots.txt и XML sitemap для лучшего сканирования и индексирования.

Format: robots.txt and XML sitemap (sample structure). Context: You configure crawlability for optimal indexing. Task: Generate robots.txt and sitemap structure for {{SITE_DOMAIN}}, {{NUM_PAGES}} pages. Constraints: Block unnecessary dirs, allow important pages, XML sitemap with priorities, standard format. Do NOT: Block important content, create overly restrictive rules, miss priority pages.
0 копий

Переменные

Замените эти переменные на свои значения перед использованием:

{SITE_DOMAIN}{NUM_PAGES}{EXCLUDED_DIRECTORIES}{PRIORITY_PAGES}

Пример результата

robots.txt: User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ Sitemap: {{SITEMAP_URL}} XML Sitemap: 350 URLs, приоритеты установлены