El documento robots.txt es un elemento clave para toda página web que pretende aparecer bien vista por los motores de búsqueda como Google . Opera como una instructivo para los crawlers , indicándoles qué secciones de tu web pueden deben indexadas y cuáles evitar. Una correcta configuración de este fichero ayuda a evitar problemas de rastreo