Cuando se contratan server de hosting baratos, estos dicen ser ilimitados pero no lo son. Si te pasas de la raya te cortan el servicio. Por lo que si tienes un poquito de tráfico, estás en riesgo de que te echen y no te den más el servicio. Créase o no, los spider, crawlers y bots que andan por la red generan el 50% aproximadamente de las visitas a tu sitio. Google se la pasa mirando si no has tenido alguna modificación para indexar todo cuanto antes. Por lo que hay que pedirle que no sea tan molesto y no genere una excesiva carga en nuestro servidor baratito.
Una de las formas es modificar el robots.txt y agregar una línea de comando pidiendo que acceda más espaciadamente. Esto de esapaciado puede ser –por ejemplo- no más de un acceso cada 20 segundos. No te modificará en nada la velocidad con que tendrás tus páginas indexadas, pero te puede hacer una gran diferencia en la carga de tu servidor.
Crawl-delay: 20
No comments:
Post a Comment