Es vital que nuestro sitio web tenga una buena interacción con todos los buscadores que existen en Internet, hay dos archivos que son fundamentales para un buen posicionamiento en los motores de búsqueda, estos son el “sitemap.xml” el cual te explico en este artículo y el archivo “robots.txt” el cual te explicare aquí.
Contenidos del post:
Importancia del archivo “robots.txt”
La mentalidad de un emprendedor no solo debe estar basada en cómo realizar negocios también es importante que tenga conocimientos en las áreas que son fundamentales para el buen manejo de su negocio, no es un secreto que Internet se ha convertido en la última década en el medio a través del cual una empresa puede llegar a más personas en todas partes del mundo, por lo cual estos conocimientos sobre como posicionar una página web son de suma importancia para toda persona, en especial para aquellos que desean emprender su negocio a través de Internet.
Qué es el archivo “robots.txt” y como puede ser rastreado por los motores de búsquedas
Los robots son los rastreadores de motores de búsqueda que recorren todos los sitios web en Internet para agregar a sus índices de búsqueda nuevas entradas, páginas, imágenes y otros tipos de archivos que se utilizan y son parte de nuestro sitio web. A través de este archivo “robots.txt”, podemos evitar que los rastreadores incorporen páginas que no deseemos que sean añadidas al índice. Algo que debe quedar muy claro es que el archivo de robots es perfectamente accesible desde el navegador y es probable que ser alteradas con métodos avanzados.
Este archivo debe ser usado con precaución, no debe ser tocado innecesariamente porque si utiliza de forma incorrecta tu sitio web puede ser excluido totalmente de las búsquedas en Google, Bing, Yandex o Baidu. Es importante fijar los parámetros que son claves en este archivo, lo primordial que se debe incluir es el “sitemap.xml” y la opción “allow: /” con esta opción se da por aludido para todos los buscadores que nuestro sitio web y las páginas que contenga estarán plenamente dispuestas para ser indexadas, en caso tal de que se quiera excluir alguna página o varias páginas lo único que se debe hacer es colocar: “disallow: aquí colocas lo que no quieres que se indexe”, les daré un ejemplo en esta imagen de cómo se utiliza este archivo para este blog cuando aún estaba en Blogger:
Probar el archivo robots.txt:
Si se realizan cambios en el “robots.txt” se debe informar a “Google” a través de la herramienta para webmaster, una vez que se actualiza este archivo simplemente lo debemos probar en la “Google Search Console” una vez que realizamos la prueba y verifiquemos que todo funciona según lo previsto podemos informar a “Google” de la actualización, se debe destacar que es importante probar este archivo antes de enviarlo a “Google” porque haciendo esto podemos localizar posibles errores o advertencias que pueda contener nuestro archivo.
