# robots.txt # For Msnbot User-Agent: msnbot Crawl-delay: 3000 Disallow: /fr/fr Disallow: /fr/nl Disallow: /nl/fr Disallow: /nl/nl Disallow: /aspnet_client Disallow: /files Disallow: /images Disallow: /Templates Disallow: /CSS Disallow: /Masterpages Disallow: /ini # For SlurpYAhoo User-Agent: Slurp Disallow: /fr/fr Disallow: /fr/nl Disallow: /nl/fr Disallow: /nl/nl Disallow: /aspnet_client Disallow: /files Disallow: /images Disallow: /Templates Disallow: /CSS Disallow: /Masterpages Disallow: /ini # For MJ12bot User-Agent: MJ12bot Disallow: /fr/fr Disallow: /fr/nl Disallow: /nl/fr Disallow: /nl/nl Disallow: /aspnet_client Disallow: /files Disallow: /images Disallow: /Templates Disallow: /CSS Disallow: /Masterpages Disallow: /ini # For Google User-Agent: Googlebot Disallow: /fr/fr Disallow: /fr/nl Disallow: /nl/fr Disallow: /nl/nl Disallow: /aspnet_client Disallow: /files Disallow: /images Disallow: /Templates Disallow: /CSS Disallow: /Masterpages Disallow: /ini