Paso 6: Archivo de Robots.txt
Me gustaría incluir un favicon ya que sin ellos los robots activarán el archivo no encontrado errores en el servidor. Asegúrese de configurar correctamente tu robots.txt. Hacer una página 404 personalizada. Si su sitio tiene más de un par de páginas también crear un archivo sitemap.xml. No es mala idea crear un sitemap de todos modos no importa qué, que le permite definir la estructura de su sitio a los robots. Solo busca en google si no sabes cómo hacer nada de eso, es muy básico y puede encontrar las instrucciones exactas dentro de un minuto cuando haces una búsqueda.
