X-Roboter-Tag
Das X-robots-Tag ist ein Meta-Tag, das in die Kopfzeile einer Webseite eingefügt werden kann, um den Crawlern von Suchmaschinen Anweisungen zu geben. Mit diesem Tag lässt sich steuern, wie Suchmaschinen eine Webseite indizieren und in ihren Suchergebnissen anzeigen. Durch die Verwendung des X-robots-Tags können Website-Besitzer verhindern, dass Suchmaschinen bestimmte Seiten indizieren oder...