# robots.txt for http://www.promomasters.at/ User-agent: * Disallow: /tmp Disallow: /*sessionID=* Disallow: /Feedback.php Disallow: /Feedback_Honorarangebot.php # Feedback-Seiten ( = verschicken Mail-Nachrichten) sollen nicht gecrawlt werden # Wildard ="Feedbac*" funktioniert nicht mit allen Crawlern Sitemap: http://www.finconsult.at/sitemap.xml # DIE REGELN by http://www.kohlfuerst.at/ # Mehr Info unter http://www.promomasters.at/robots-txt.html # Disallow: / # Gesamte Präsenz soll nicht gecrawlt werden # Disallow: /*? # Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden # Disallow: /verzeichnis/ # Allow: /verzeichnis/datei.htm # Crawle Verzeichnis nicht ausser datei.htm # Disallow: /*.doc$ # Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden # Disallow: /*? # Allow: /*?$ # Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. # Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden