it-swarm-es.com

Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt?

Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt?

¿O puede la falta de uno ser perjudicial?

29
Dan Dumitru

La falta de un archivo robots.txt no será perjudicial. Desde el sitio web robotstxt.org :

Para permitir que todos los robots tengan acceso completo

Agente de usuario: *
Rechazar:

(o simplemente cree un archivo "/robots.txt" vacío, o no use ninguno)

Sin embargo, incluso si no está especificando nada en su archivo robots.txt, es una buena manera de informar a los motores de búsqueda de la ubicación de su XML Sitemap . Puede hacerlo agregando una línea en la parte superior de su archivo robots.txt que se parece a:

Mapa del sitio: http://www.example.com/sitemap-Host1.xml

También debe tener en cuenta que no tenerlo creará una gran cantidad de 404 entradas en sus registros web.

30
JasonBirch

Si no tiene un "robots.txt", su registro de errores obtendrá un montón de 404 en el archivo, lo que podría ser una molestia, similar a si no tiene un favicon.

21
delete

Creo que sería have estar bien, de lo contrario, grandes extensiones de la web no serían indexables por las arañas web.

No robots.txt es lo mismo que "permitir la indexación de todos" robots.txt casi por definición.

6
Jeff Atwood

La falta de un archivo robots.txt le deja al rastreador decidir qué puede y qué no puede hacer. Dado que solo lleva unos segundos evitar cualquier tipo de ambigüedad, ¿por qué no hacer una que permita a todos los agentes acceder a todo?

2
Tim Post

Bueno, dado que robots.txt contiene la dirección de su mapa del sitio , no tener una es potencialmente dañino.

0
Thomas Bonini

Dependiendo de su contenido, no debería haber problemas con el hecho de no tener un archivo de robots, siempre que desee tener todas las páginas de su sitio indexadas por los motores de búsqueda.

0
seanl