Sie betrachten eine alte Version der Seite. Zur neuesten Version gehen.
Keine Kategorien vergeben
Robotskonfiguration
-
- vor 7 Jahren zuletzt von 18.227.49.73 bearbeitet
-
-
- Keine Statusinformation
Version vom 17. Februar 2017, 15:23 Uhr von WikiSysop (Diskussion | Beiträge) (Kategorien geändert.)
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperren.
Weitere Informationen z.B. über den Aufbau dieser Datei erhalten Sie in der Wikipedia.