Wozu brauche ich die robots.txt-Datei?
Veröffentlicht von AceBIT GmbH, zuletzt geändert von an 07 February 2011 17:12

Suchmaschinen "besuchen" Ihre Website, um sie zu erfassen. Dabei wird von den meisten Suchmaschinen in der Regel automatisch auch nach der Datei robots.txt gesucht.

Sie können für Ihre Website in der Datei robots.txt festlegen, welche Seiten Ihrer Website von der Indizierung ausgenommen werden sollen. Beachten Sie, dass nur eine Robots.txt-Datei auf Ihren Server berücksichtigt wird und diese muss im Top-Verzeichnis stehen. Auf einem UNIX-System könnte das beispielsweise das Verzeichnis

/usr/local/etc/httpd/htdocs/robots.txt

sein.

Mit dem Robots-Generator in Hello Engines! können Sie korrekte robots.txt-Dateien erzeugen und auf den Webserver übertragen.