Создаёт optimized robots.txt и XML sitemap для лучшего сканирования и индексирования.
Format: robots.txt and XML sitemap (sample structure).
Context: You configure crawlability for optimal indexing.
Task: Generate robots.txt and sitemap structure for {{SITE_DOMAIN}}, {{NUM_PAGES}} pages.
Constraints: Block unnecessary dirs, allow important pages, XML sitemap with priorities, standard format.
Do NOT: Block important content, create overly restrictive rules, miss priority pages.
0 копий
Переменные
Замените эти переменные на свои значения перед использованием: