Technisches SEO: Crawling, Indexierung & robots.txt – Der komplette Guide
Technisches SEO ist das Fundament jeder erfolgreichen Suchmaschinenoptimierung. Während Content und Backlinks oft im Vordergrund stehen, entscheidet die technische Basis darüber, ob Google deine Seiten überhaupt crawlen, indexieren und ranken kann.
Wie funktioniert Google-Crawling?
Googles Crawler – auch Googlebot genannt – durchsucht das Web kontinuierlich auf der Suche nach neuen und aktualisierten Inhalten.
robots.txt: Crawling gezielt steuern
Die Datei robots.txt liegt im Wurzelverzeichnis deiner Domain und gibt Crawlern präzise Anweisungen.
XML-Sitemap: Deine Seiten auf dem Silbertablett
Eine XML-Sitemap ist eine strukturierte Liste aller URLs, die du indexiert haben möchtest.
Sie hilft Google, alle wichtigen Seiten deiner Website schnell und zuverlässig zu finden – besonders bei neuen Seiten, die noch kaum verlinkt sind.
Indexierungsprobleme erkennen und beheben
Nicht indexierte Seiten ranken nicht. In der Google Search Console kannst du unter „Seiten” genau sehen, welche URLs indexiert sind und warum nicht.
Technisches SEO als Daueraufgabe
Häufige Fragen zum Technischen SEO
Crawling bedeutet, dass Googlebot eine Seite besucht und ihren Inhalt abruft. Indexierung ist der nächste Schritt: Der gecrawlte Inhalt wird analysiert, kategorisiert und im Google-Index gespeichert. Erst indexierte Seiten können in den Suchergebnissen erscheinen. Eine Seite kann gecrawlt, aber trotzdem nicht indexiert werden – z. B. durch ein noindex-Tag.
Die Indexierungszeit variiert stark: Bei etablierten Domains mit regelmäßig aktualisiertem Content kann es wenige Stunden dauern. Bei neuen oder wenig verlinkten Seiten können es mehrere Wochen sein. Die Einreichung der XML-Sitemap in der Google Search Console beschleunigt den Prozess erheblich. Auch der „URL-Prüfen”-Tool in der Search Console kann eine direkte Indexierungsanfrage senden.
Nein – das ist ein häufiges Missverständnis. robots.txt blockiert das Crawlen, nicht die Indexierung. Google kann eine Seite trotzdem indexieren, wenn sie von anderen Seiten verlinkt ist – nur ohne den Inhalt gelesen zu haben. Um die Indexierung zu verhindern, muss ein noindex-Meta-Tag gesetzt werden. Wichtig: Das noindex-Tag muss von Google gecrawlt werden können – Disallow und noindex kombiniert funktioniert nicht.
Ohne Sitemap muss Googlebot alle Seiten über interne Links selbst entdecken. Das funktioniert bei gut verlinkten Seiten meistens – ist aber langsamer und weniger zuverlässig. Seiten, die kaum intern verlinkt sind (z. B. neue Blogbeiträge), werden ohne Sitemap oft gar nicht oder sehr spät gecrawlt. Eine Sitemap ist besonders für neue Websites und Seiten mit vielen URLs unverzichtbar.
Der schnellste Weg: site:deinedomain.at in Google eingeben. Genauer ist jedoch die Google Search Console: Unter „Seiten” siehst du alle indexierten URLs sowie alle nicht-indexierten mit dem jeweiligen Grund (noindex, Crawl-Fehler, Canonical-Weiterleitung etc.). Das Tool „URL prüfen” gibt außerdem Echtzeit-Auskunft über den Status einer einzelnen URL.
Das hängt von der Crawl Demand und der Crawl Rate ab. Aktuelle, häufig verlinkte und performante Websites werden öfter gecrawlt – manchmal täglich. Statische Seiten mit wenig Änderungen seltener. Die Crawl-Frequenz lässt sich nicht direkt erzwingen, aber positiv beeinflussen: regelmäßige Content-Updates, schnelle Ladezeiten und eine saubere interne Verlinkung signalisieren Google, dass es sich lohnt, öfter vorbeizukommen.
Mein Name ist Max, und ich habe die unglaubliche Gelegenheit, seit über einem Jahrzehnt in der Welt des Online-Marketings und Webdesigns zu arbeiten. Mit 35 Jahren bringe ich eine Fülle von Erfahrung mit, die ich im Laufe meiner Karriere erworben habe. Ich habe mit einigen der bekanntesten Marken der Welt zusammengearbeitet, darunter Redbull, Volkswagen & Hornbach.
