Это безопасность?

Генератор robots.txt

Создаёт robots.txt с Allow/Disallow и Sitemap.

User-agent (satır satır)

Allow

Disallow

Crawl-delay (opsiyonel)

Host (opsiyonel)

Sitemap URL (satır satır)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /private/

Sitemap: https://ornek.com/sitemap.xml

Dosyayı site köküne robots.txt olarak yükleyin. Disallow: / tüm dizini engeller.

Гид

Генератор robots.txt собирает User-agent, Allow, Disallow и Sitemap. Шаблоны: открытый, без admin или полностью закрытый.

Disallow: / скрывает весь сайт. Ошибка бьёт по индексу. Сначала staging.

Это самые частые запросы по этому инструменту. Ответы совпадают с видимым текстом.

Нет. Боты всё равно могут открыть URL. Приватное — auth и правила сервера.