Robots Text
Mit der Text-Datei robots.txt können Sie bestimmte Seiten Ihrer Präsenz vor einer Indexierung durch Suchmaschinen schützen. Oder auch verschiedene Crawler ausschliesen welche unerwünscht Ihre Seite spidern und Inhalt auslesen.
Kopieren Sie den Text aus der Box und speichern Sie ihn in der Datei "robots.txt"
| Erlaubt allen Crawler, Ihre Webseiten zu indizieren. |
|
User-agent: * Disallow: |
| Verbietet allen Crawler, Ihre Webseiten zu indizieren. |
|
User-agent: * Disallow: / |
| Verbietet allen Crawler bestimmte Dateien und Verzeichnise zu indizieren. |
|
User-agent: * Disallow: /cgi-bin/ Disallow: /bilder/ Disallow: /test.php |
| Schliest unerwünschte Crawler aus. |
|
User-agent: * User-agent: FairAd Client User-agent: Oracle Ultra Search Disallow: / User-agent: Gaisbot Disallow: / |
> zurück