User-agent: *
# Bloquea el acceso al backend de WordPress
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Evita que los motores de búsqueda indexen archivos internos
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/debug.log

# Evita que los bots accedan a rutas sensibles
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /wp-json/
Disallow: /comments/
Disallow: /?s=
Disallow: /search/

# Bloquea feeds RSS y archivos innecesarios
Disallow: /feed/
Disallow: /?attachment_id=
Disallow: /*.php$
Disallow: /*.cgi$
Disallow: /*.log$
Disallow: /*.json$
Disallow: /*.git$
Disallow: /*.env$

# Bloqueo adicional para prevenir bots agresivos (Google seguirá accediendo)
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: wget
Disallow: /

# Permitir acceso a imágenes y contenido útil
Allow: /wp-content/uploads/

# Sitemap para ayudar a los motores de búsqueda a indexar correctamente
Sitemap: https://csiti.cl/sitemap_index.xml