robots.txt
Un archivo de texto en el directorio raíz del sitio que indica a los rastreadores de los motores de búsqueda qué partes del sitio no deben rastrear.
- 01
Por qué importa
robots.txt bloquea el rastreo de áreas inútiles en buscadores, como paneles de administración, carrito y páginas de resultados de búsqueda interna, de modo que los rastreadores dedican su tiempo a las páginas importantes. Sin embargo, no impide de forma fiable que una página entre en el índice; para eso se usa noindex. El archivo es público.
- 02
Ejemplo
Las direcciones de una tienda que generan combinaciones de filtros infinitas están consumiendo el tiempo del rastreador. Una vez que se añaden a robots.txt reglas que bloquean estos parámetros, el rastreo se concentra en las páginas de productos y categorías.
- 03
Error frecuente
Bloquear con robots.txt una página que desea eliminar del índice. Como la página bloqueada no se puede rastrear, su etiqueta noindex nunca se ve y la página puede permanecer en el índice.
- 04
Términos relacionados
Servicios y guías relacionados
Hablemos de tu proyecto.
Cuéntenos lo que necesita; definiremos el alcance juntos.