Cuando abro mi archivo robots.txt dice esto: User-agent: * Disallow: / . ¿Qué significa esto? ¿Que bloquea a todos los robots? Si es así, ¡mi sitio podría no aparecer en Google!
¿Cuál es la forma correcta de escribir el robots.txt? ¿Qué archivos debo poner en 'disallow' y cuáles dejar abiertos?
Si escribo mal el Robot.txt, ¿aparece un error en Search Console o simplemente oculta el sitio en silencio?
Explicación del robots.txt: User-agent: * = para todos los robots, Disallow: / = '/' (todo el sitio) disallow. O sea, BLOQUEA a TODOS los robots — significa que mi sitio está oculto a Google, Bing y a todos. ¡BORRA este archivo!
robots.txt correcto: Déjalo vacío (no escribas nada) o escribe esto: User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
Esto: bloquea las carpetas admin y private, permite todo lo demás, e indica el sitemap a Google.
Notificación de Search Console: Si el robots.txt hace un disallow completo del sitio, en Search Console aparecerá 'Excluded by robots.txt' en la cobertura.
Corrección: recordaba mal la cifra, era un poco más baja.
Ejemplos de robots.txt: 1) Disallow del directorio de instalación de WordPress: Disallow: /wp-admin/, Disallow: /wp-includes/. 2) Archivos privados: Disallow: /private/. 3) Página de prueba: Disallow: /test.html. 4) Bloquear todos los bots: Disallow: / (si quieres, permite Googlebot: Allow: / específico para Googlebot).
el año pasado un desarrollador cometió un error en nuestro sitio y puso todo el sitio en disallow en el robots.txt. no llegó ningún tráfico de Google durante 1 mes, el sitio estuvo casi muerto. bueno quitamos el disallow del robots.txt y a las 2 semanas Google volvó a rastrear y el tráfico regresó.
lección: revisa el robots.txt, la mayoría de las veces el diasllow de todo el sitio es un error hecho por descuido.
el archivo robots.txt debe estar en la raíz del sitio (example.com/robots.txt). si falta el archivo, los bots no tienen problemas; el problema es si existe pero está mal luego quita ya ese 'Disallow: /' que pusiste, está ocultando todo el sitio.
robots.txt: Si escribes Disallow: / le estás diciendo a Google 'vete a la mierda'. Google: vale me voy. la verdad 3 meses fuera de los resultados tráfico cero, arrepentimiento. Escríbelo bien o déjalo.
Códigos de estado del robots.txt: 200 = sitio ok. 404 = no hay robots.txt (no es problema, permiso por defecto). 403 = acceso denegado. User-agent: * = todos los bots, Googlebot = robots de Google, Bingbot = Bing.
De acuerdo incluso me gustaría recalcarlo. El error cometido por error robots txt suele ser reversible, pero caro.
Si tenéis dudas, escribid, os responderé en la medida de lo posible.
Exactamente así. Si es la primera vez que lo hacéis empezad poco a poco, la escala llegará después.
Me quedé tranquilo al leer esta respuesta, así que no solo me pasa a mí. Que todo el mundo haga algo no significa que sea lo correcto.
Espero que le sea útil.
Doki · Consultoría SEO · 2026
no tengo ninnguna experiencia en error robots txt, por eso pregunto y las decisiones apresuradas son las que hay que corregir seis meses después.
espero que le sea útil.
Doki · Sitio web corporativo · 2023
Soy una pequeña empresa, os lo cuento desde mi lado. Si el ranking se mantiene pero los clics bajan, el problema no está en tu página, sino en la apariencia de los resultados.
Corrijanme si me equivoco.
no tengo niinguna experiencia en error robots txt por eso pregunto. antes de decidir mirad qué datos tenéis en la mano.
Doki · Configuración de gestión de logs · 2025
Sí, la situación con error robots txt es exactamente así. Ningún proceso mejora si no se registran datos, porque no sabes qué tienes que arreglar.
Ánimo.
La discusión se ha dispersado, voy a ordenarla. No tengáis miedo de preguntar, quien no pregunta siempre paga más caro.
Comprobado por experiencia.
Llevé mucho tiempo con este asunto. Al tomar decisiones, escribe también el peor escenario, no solo el mejor.
Si escribís el resultado aquí, también servirá de ayuda a otros.