Directiva User-agentPatrón identificador de crawler
Designa el token de rastreador específico o los comodines a los que se dirigen los bloques de reglas posteriores. No distingue entre mayúsculas y minúsculas; la RFC 9309 estipula que las coincidencias exactas de tokens tienen prioridad estricta sobre coincidencias de prefijo parcial y grupos comodín universales (*).
Por defecto: *
Patrón de ruta DisallowPatrón de prefijo de ruta URI
Especifica los prefijos de ruta URI a los que el rastreador designado no debe acceder. Un valor Disallow vacío (Disallow:) indica que todas las rutas del sitio web tienen permiso de rastreo.
Por defecto: /private/
Especificidad de directiva AllowPatrón de excepción de ruta URI
Especifica los prefijos de ruta URI a los que los rastreadores pueden acceder; se utiliza habitualmente para definir excepciones dentro de una ruta Disallow más amplia. Según la RFC 9309, cuando Allow y Disallow coinciden en longitud de ruta, Allow tiene prioridad.
Por defecto: /private/public-asset.js
Patrón de comodín asterisco (*)Token de coincidencia de patrones
Coincide con cualquier secuencia de cero o más caracteres URI válidos dentro de cadenas de ruta. Se utiliza con frecuencia para bloquear parámetros de consulta dinámicos (p. ej., /*?*sort=) o extensiones de archivo específicas (p. ej., /*.pdf$).
Por defecto: /*?*sort=
Ancla de fin de URI ($)Token de anclaje de límite
Fija explícitamente el patrón de coincidencia al final exacto de la ruta URL o cadena de consulta, evitando que coincida accidentalmente como prefijo de rutas anidadas más largas.
Por defecto: /exact-page$
Directiva Crawl-delayDirectiva de límite de frecuencia (no estándar)
Especifica un intervalo de pausa en segundos entre solicitudes consecutivas del rastreador. Es respetada por Bingbot, Yandex y Baidu, pero Googlebot la ignora estrictamente, ya que gestiona su cadencia de rastreo mediante Google Search Console.
Por defecto: 10
Declaración de SitemapDirectiva de localización de metadatos
Declara la URL HTTPS absoluta del archivo sitemap XML o del índice de sitemaps del sitio. Puede situarse en cualquier parte del archivo robots.txt, dentro o fuera de los grupos de user-agent, aunque las buenas prácticas recomiendan incluirla al final del documento.
Por defecto: https://example.com/sitemap.xml
Límite de tamaño de archivo de 500 KiBLímite de protocolo
Límite oficial de especificación según la sección 2.1 de la RFC 9309 para archivos robots.txt. Los principales motores de búsqueda (incluidos Google y Bing) truncan el procesamiento a los 500 kibibytes (512.000 octetos), tratando el contenido restante como inexistente.
Por defecto: 500 KiB
