drupaleros.com.ar

Seguramente te habrás dado cuenta que si tu sitio Drupal es enlazado desde el exterior, muy pronto habrá spiders solicitando el archivo robots.txt.

Si quieres tener información al respecto, cómo crearlo, cómo informarle al spider que no cachee un directorio en particular, etc., los siguiente enlaces te ayudarán:

Googlebot: el rastreador web de Google - FAQ
The Web Robots FAQ...
The Web Robots Pages
Robots.txt Validator (Para validar la sintaxis de nuestro robots.txt).

En todos los casos ten mucho cuidado, si te equivocas puede pasar bastante tiempo para que vuelvan a indexarte.