Crawlability

Die Crawlability einer Webseite gibt an, wie gut diese von Suchmaschinen gelesen und indexiert werden kann. Sie spielt in der Suchmaschinenoptimierung eine zentrale Rolle. Sind die Inhalte einer Webseite beispielsweise aufgrund technischer Restriktionen für den Crawler einer Suchmaschine nicht zugänglich, können diese nicht in den Index aufgenommen werden.

Google gibt in der Google Search Console im Bericht „Crawling-Statistik“ Angaben zum Crawling-Verlauf (unter Einstellungen). Neben Zeitpunkt und Anzahl der Abfragen findest du hier auch Serverantworten und evtl. Verfügbarkeitsprobleme. Google gibt selbst an, dass dieser Bericht sich an fortgeschrittene Nutzer richtet.

Außerdem gibt die Anzahl der bei Google indexierten Seiten einen Rückschluss über die Crawlability einer Webseite. Diese sollten prinzipiell mit der Anzahl der URLs in der Sitemap.xml übereinstimmen. Du findest die Anzahl der indexierten Seiten in der Google Search Console unter Indexierung/Seiten.

Auch ein Test der Webseite mit deaktiviertem Java Script ist sinnvoll. Suchmaschinen können Inhalte, die nur über eine Java Script Funktion erreichbar sind, nur bedingt lesen.

Mit der Google Search Console kannst du das JavaScript-Rendering durch den Googlebot testen. Rufe dazu über die Navigation den Punkt „URL-Prüfung“ auf und gebe die URL der zur testenden Seite ein. Über einen Klick auf „Gecrawlte Seite anzeigen“ öffnet sich ein zusätzliches Fenster mit mehren Tabs. Unter „HTML-Code“ kannst du prüfen, ob der betreffende Inhalt eingebunden ist. Im Tab „Weitere Informationen“ listet Google auf, ob Seitenressourcen nicht geladen werden konnten oder ob Nachrichten aus der JavaScript-Konsole vorliegen.