El archivo robots.txt es un elemento clave para cualquier sitio web que pretende estar bien posicionada por los motores de búsqueda como Chrome . Sirve como una instructivo para los crawlers , indicándoles qué páginas de tu sitio pueden ser rastreadas y cuáles no . Una correcta configuración de este documento puede a solucionar problemas de r