HTTP X-Robots-Tag Header

Der HTTP-Header X-Robots-Tag ist ein Response-Header, der Suchmaschinen-Crawlern Anweisungen zur Indexierung und zum Crawling gibt. Er bietet eine Alternative zu Robots-Meta-Tags in HTML und funktioniert auch für non-HTML-Ressourcen.

Typ

Response-Header

Syntax

Der Header definiert Crawler-Direktiven für Suchmaschinen.

http 
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: googlebot: noarchive

Direktiven

Die Direktiven steuern das Crawler-Verhalten von Suchmaschinen.

all
Default: Keine Einschränkungen für Indexierung und Crawling.
noindex
Verhindert Indexierung der Seite in Suchergebnissen.
nofollow
Crawler folgt keinen Links auf dieser Seite.
none
Äquivalent zu noindex, nofollow.
noarchive
Verhindert Speicherung einer gecachten Kopie der Seite.
nosnippet
Zeigt kein Snippet oder Preview in Suchergebnissen.
notranslate
Bietet keine Übersetzung in Suchergebnissen an.
noimageindex
Indexiert keine Bilder auf dieser Seite.
unavailable_after: <date>
Seite soll nach Datum aus Index entfernt werden, Format: RFC 850.
<user-agent>: <directives>
Bot-spezifische Regeln, z.B. googlebot: noindex.

Beispiele

Nachfolgend finden Sie praktische Anwendungsbeispiele für den X-Robots-Tag-Header.

Beispiel 1 API-Endpoint vor Indexierung schuetzen

http 
HTTP/1.1 200 OK
Content-Type: application/json
X-Robots-Tag: noindex, nofollow

{"userId": 123, "email": "user@example.com"}

API-Response mit sensiblen Daten wird nicht in Suchmaschinen indexiert, selbst wenn URL öffentlich zugänglich ist.

Beispiel 2 PDF Dokument ohne Cache

http 
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noarchive, nosnippet

[PDF binary data]

Vertrauliches PDF-Dokument kann gefunden werden, aber Suchmaschinen dürfen keine Vorschau oder Cache speichern.

Beispiel 3 Bot-spezifische Regeln

http 
HTTP/1.1 200 OK
Content-Type: text/html
X-Robots-Tag: googlebot: noindex
X-Robots-Tag: bingbot: noarchive

<!DOCTYPE html>
<html>...</html>

Unterschiedliche Regeln für verschiedene Bots: Google indexiert nicht, Bing indexiert aber cached nicht.

X-Robots-Tag SEO Control Flow

X-Robots-Tag Crawler Control

Vorteile für die Systemarchitektur

  • Non-HTML-Support: Steuerung von Crawling für PDFs, Bilder, APIs ohne HTML-Meta-Tags
  • Granulare Kontrolle: Bot-spezifische Regeln ermöglichen differenzierte SEO-Strategien
  • Security-Layer: Verhindert Indexierung sensibler Endpunkte die aus technischen Gründen öffentlich sein müssen

Spezifikation

Google Search Central, Robots Meta Tag and X-Robots-Tag https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag

Weitere Spezifikationen

Cache-Control Header, Location Header