aktualisiert: 22.03.2023
Ein Google Crawler ist ein Bot, ein Programm von Google, das dafür verantwortlich ist, dass deine Website überhaupt im Internet gefunden wird. Google Bots durchforsten das Internet nach neuen Websites, Inhalten und Dokumenten jeglicher Art, um diese anschließend in einer riesigen Datenbank, dem Google-Index, zu verwalten.
Und nun geht’s ein wenig ins Detail…
Die Google Bots durchsuchen das Internet nach neuen Informationen. Sie laden Inhalte aus dem Netz herunter und spielen es der Suchmaschine zu. Auf diese Weise erhält die Suchmaschine eine unfassbar große Menge an Informationen über neue Websites und neuen Content. Diese Informationen werden wiederum dem Google Index zugeführt. Der Index wiederum ist die Google-Datenbank, in der alle Informationen gespeichert werden.
Wenn du als User eine Suchanfrage bei Google stellst, durchforstet Google diesen Index, um für dich die besten Antworten (Suchergebnisse) auf deine Frage zu finden. Das bedeutet dementsprechend, dass die in der Datenbank gespeicherten Informationen einer Bewertung unterzogen werden. Dazu nun im nächsten Abschnitt mehr…
Das Crawling erfolgt nicht willkürlich, sondern wird von dem berüchtigten Algorithmus gesteuert. Es sind Parameter festgelegt, die eine bestimmte Gewichtung haben. Um nur ein Beispiel zu nennen:
Wird das Thema eines Beitrages durch die Verwendung von Keywords, Tags, Bildattributen, Linktexten etc. klar, dann wird dieser eine Parameter positiv bewertet. Dieselbe Webseite mit dem hervorragenden SEO-Text benötigt in unserem Beispiel jedoch extrem lange, bis sie geladen wird. Die ersten Inhalte werden erst nach 5 Sekunden sichtbar. Die Ladezeit ist ein weiterer Parameter, der in die Bewertung einfließt. In unserem Beispiel erhält die Webseite in Bezug auf diesen Parameter eine schlechte Bewertung. Alle einzelnen Parameter werden in die Gesamtbewertung einbezogen und zudem in einen Vergleich mit den Mitbewerbern gestellt. Der Algorithmus ist sehr komplex und in seiner Vollständigkeit natürlich ein Geheimnis. Die wichtigsten Kennzahlen für Google jedoch sind bekannt und sollten auch auf deiner Agenda stehen.
Diese Kennzahl misst die Zeit, die es braucht, um das größte Element zu laden. Im Gegensatz dazu gibt es noch den First Contentful Paint (FCP). Das ist wiederum die Zeit, die es benötigt, bis das erste Element auf der Seite erscheint.
Die Reaktionsgeschwindigkeit beschreibt die Zeit zwischen einer User-Interaktion (zum Beispiel ein Klick auf einen Button) und dem Beginn der Verarbeitung dieser Interaktion.
Damit sind plötzliche, unerwartete Verschiebungen von Elementen gemeint. Das passiert beispielsweise, wenn grafische Elemente nachgeladen werden. Solche Verschiebungen sind störend, da sie zu ungewollten Klicks führen können.
Googles oberstes Ziel ist es, den Usern das bestmögliche Ergebnis zu liefern. Das beste Ergebnis sowohl in Hinblick auf den Inhalt als auch hinsichtlich der User Experience.Ein Beispiel: Bietet eine Website top Inhalte und löst das Problem des Users, scheint die Website zunächst zu den besten Ergebnissen zu zählen. Lädt die Seite jedoch sehr langsam, dann erhält sie eine schlechte Bewertung hinsichtlich der User Experience und wird sehr wahrscheinlich das Ranking nicht anführen.
Googles oberstes Ziel ist es, den Usern das bestmögliche Ergebnis zu liefern. Das beste Ergebnis sowohl in Hinblick auf den Inhalt als auch hinsichtlich der User Experience.Ein Beispiel: Bietet eine Website top Inhalte und löst das Problem des Users, scheint die Website zunächst zu den besten Ergebnissen zu zählen. Lädt die Seite jedoch sehr langsam, dann erhält sie eine schlechte Bewertung hinsichtlich der User Experience und wird sehr wahrscheinlich das Ranking nicht anführen.
Eine exakte Aussage kann dazu nicht getroffen werden. Jedoch kannst du in der Google Search Console deine individuelle Crawling-Statistik einsehen:
Einstellungen > Crawling-Statistiken
Google erklärt selbst einiges dazu:
„Crawling-Frequenz bezeichnet die Anzahl der Anfragen pro Sekunde, die der Googlebot während des Crawling-Vorgangs auf Ihrer Website ausführt, z. B. fünf Anfragen pro Sekunde.
Sie können nicht ändern, wie oft Ihre Website gecrawlt wird. Wenn Google jedoch neue oder aktualisierte Inhalte auf Ihrer Website crawlen soll, können Sie ein erneutes Crawlen anfragen.“
Um in den SERPs vorne zu bleiben, ist es wichtig, eine optimale Crawl-Rate für Google zu erreichen. Beobachte die Kurve genau – wenn sie plötzlich sinkt, überprüfe, ob dein Code oder dein Inhalt veraltet ist; wenn sie umgekehrt plötzlich steigt, kannst du sicher sein, dass neue Inhalte veröffentlicht wurden! Halte die Dinge am Laufen, indem du frisches Material veröffentlichst und alte Inhalte wiederverwendest. Die Beseitigung von Ausreißern gibt deinen Rankings einen dringend benötigten Schub und sorgt für einen qualitativ hochwertigen Output, der Aufmerksamkeit erregt.
Zunächst einmal kannst du das Crawling dahingehend beeinflussen, dass du es aktiv veranlassen kannst. Durch die Anmeldung deiner Website im Google-Index wird deine Website für die Suchmaschine sichtbar und bietet potenziellen Kunden und Besuchern einen einfachen Zugang. Es ist nicht nur wichtig, sondern auch ziemlich einfach, eine Indexierung von Google zu beantragen. Über die Google Search Console kannst du eine Sitemap erstellen und diese bei Google einreichen. Bei Neil Patel findest du einen ausführlichen Beitrag dazu, wie du mit Hilfe einer Sitemap die Indexierung beantragen kannst: „Wie du Google dazu bekommst, deine neue Webseite sofort zu indexieren“.
Du kannst des Weiteren bestimmen, welche Inhalte NICHT mit in die Indexierung einbezogen werden sollen. Das kannst du für jede einzelne Seite festlegen. Wenn es darum geht, das Ranking deiner Website in den Suchmaschinenergebnissen zu verbessern, ist die Entfernung von Seiten aus dem Google-Index ein wichtiger Schritt. Google entfernt bestimmte Seiten, wenn sie Inhalte duplizieren, fehlerhafte Links enthalten oder auf andere Weise die Fähigkeit der Suchmaschine behindern, nutzerrelevante Informationen zu finden. Es ist wichtig, dass jede Seite, die aus dem Google-Index entfernt werden soll, mit Sorgfalt behandelt wird – eine falsche Entfernung von Seiten kann zu Abstrafungen und anderen Problemen für die SEO deiner Website führen. Bevor du die Entfernung einer Seite aus dem Google-Index in Erwägung ziehst, solltest du daher unbedingt einen qualifizierten SEO-Experten zu Rate ziehen, um sicherzustellen, dass das gewünschte Ergebnis erzielt wird, ohne den Ruf oder das Ranking deiner Website zu schädigen.
Interne Links sind ein starkes Instrument, um die Website-Struktur zu stabilisieren, die Inhalte zu verlinken, die User – und den Google Crawler! – zu leiten. Diesen Links soll der Crawler natürlich folgen. Externe Links liefern deinen Usern weiterführende Informationen und dienen somit deiner Popularität, wenn du sie strategisch nutzt. Es gibt jedoch auch Websites, die du verlinken möchtest oder musst, die jedoch thematisch irrelevant sind. Werden diese Inhalte mit in die Bewertung einbezogen, dann wirkt sich das unter Umständen negativ auf das Ranking aus. Du kannst diesen Links allerdings ein nofollow-Attribut zuweisen, dass den Crawler davon abhält, die Inhalte der Zielseite in die Bewertung einzubeziehen. Erfahre in diesem nachfolgend verlinkten Beitrag mehr darüber, wie du „Link-Attribute am besten einsetzt“.
AZOORA
eine Marke der MW-ITD GmbH
Arno-Nitzsche-Str. 45a
04277 Leipzig
Inhalte für 0€
Case Studies
