John Mueller von Google gab eine sehr ausführliche und ehrliche Erklärung dazu, warum Google nicht jede URL oder jeden Link im Web crawlt und indexiert. Er erklärte, dass Crawling nicht objektiv ist, teuer sein kann, ineffizient sein kann, sich das Web ständig verändert, es Spam und Müll gibt und all dies berücksichtigt werden muss.
John schrieb diese ausführliche Antwort auf Reddit als Reaktion auf „Warum zeigen SEO-Tools nicht alle Backlinks an?“ Er antwortete aus Sicht der Google-Suche:
Es gibt keine objektive Methode, das Web korrekt zu crawlen.
Theoretisch ist es unmöglich, das gesamte Web zu crawlen, da die Zahl der tatsächlichen URLs praktisch unendlich ist. Da sich niemand leisten kann, eine unendliche Anzahl von URLs in einer Datenbank zu pflegen, treffen alle Webroboter Annahmen, Vereinfachungen und Schätzungen darüber, was sich realistisch zu crawlen lohnt.
Und selbst dann kann man aus praktischen Gründen nicht ständig alles crawlen, das Internet hat dafür nicht genügend Konnektivität und Bandbreite, und es kostet sehr viel Geld, wenn man regelmäßig auf viele Seiten zugreifen will (für den Bot und für den Seitenbetreiber).
Und dann ändern sich einige Seiten schnell, andere haben sich seit 10 Jahren nicht verändert – deshalb versuchen die Roboter, Aufwand zu sparen, indem sie sich stärker auf die Seiten konzentrieren, bei denen sie mit Änderungen rechnen, statt auf jene, bei denen sie keine erwarten.
Dann kommen wir zu dem Teil, in dem die Crawler versuchen herauszufinden, welche Seiten tatsächlich nützlich sind. Das Netz ist voller Müll, um den sich niemand kümmert, Seiten, die als Spam markiert wurden und völlig nutzlos sind. Diese Seiten können sich zwar noch regelmäßig ändern, sie können vernünftige URLs haben, aber sie gehören einfach auf den Schrottplatz, und jede Suchmaschine, die sich um ihre Nutzer kümmert, wird sie ignorieren. Manchmal handelt es sich nicht um eindeutig und unmissverständlich offensichtlichen Müll. Immer häufiger sind Websites technisch einwandfrei, erreichen aber in puncto Qualität einfach nicht die Messlatte, um häufiger gecrawlt zu werden.
Folglich arbeiten alle Bots (einschließlich SEO-Tools) mit einem stark vereinfachten Satz von URLs; sie müssen verstehen, wie oft gecrawlt werden soll, welche URLs häufiger gecrawlt werden sollen und welche Bereiche des Netzes ignoriert werden sollen. Es gibt dafür keinerlei feste Regeln, also muss jedes Tool seine eigenen Entscheidungen auf dem Weg der Indexierung treffen. Deshalb haben Suchmaschinen unterschiedlich indexierte Inhalte, denn SEO-Tools listen unterschiedliche Links auf, und alle darauf aufbauenden Kennzahlen sind völlig verschieden.
Falls Sie Hilfe bei der Indexierung Ihrer Website benötigen. Klicken Sie hier um mit uns in Kontakt zu treten.
