[Zum Blog](https://88lab.eu/de/blog/) [SEO](https://88lab.eu/de/category/seo/) # Warum Google nicht alle URLs crawlt Eugenij Dimitrow 28. März 2022 3 Min. Lesezeit  In diesem Artikel + [Lassen Sie uns über Ihr Projekt sprechen](https://88lab.eu/de/contact/) [John Mueller](https://ch.linkedin.com/in/johnmu) von Google gab eine sehr ausführliche und ehrliche Erklärung dazu, warum Google nicht jede URL oder jeden Link im Web crawlt und indexiert. Er erklärte, dass Crawling nicht objektiv ist, teuer sein kann, ineffizient sein kann, sich das Web ständig verändert, es Spam und Müll gibt und all dies berücksichtigt werden muss. John schrieb diese ausführliche Antwort auf Reddit als Reaktion auf „Warum zeigen SEO-Tools nicht alle Backlinks an?“ Er antwortete aus Sicht der Google-Suche: Es gibt keine objektive Methode, das Web korrekt zu crawlen. Theoretisch ist es unmöglich, das gesamte Web zu crawlen, da die Zahl der tatsächlichen URLs praktisch unendlich ist. Da sich niemand leisten kann, eine unendliche Anzahl von URLs in einer Datenbank zu pflegen, treffen alle Webroboter Annahmen, Vereinfachungen und Schätzungen darüber, was sich realistisch zu crawlen lohnt. Und selbst dann kann man aus praktischen Gründen nicht ständig alles crawlen, das Internet hat dafür nicht genügend Konnektivität und Bandbreite, und es kostet sehr viel Geld, wenn man regelmäßig auf viele Seiten zugreifen will (für den Bot und für den Seitenbetreiber). Und dann ändern sich einige Seiten schnell, andere haben sich seit 10 Jahren nicht verändert - deshalb versuchen die Roboter, Aufwand zu sparen, indem sie sich stärker auf die Seiten konzentrieren, bei denen sie mit Änderungen rechnen, statt auf jene, bei denen sie keine erwarten. Dann kommen wir zu dem Teil, in dem die Crawler versuchen herauszufinden, welche Seiten tatsächlich nützlich sind. Das Netz ist voller Müll, um den sich niemand kümmert, Seiten, die als Spam markiert wurden und völlig nutzlos sind. Diese Seiten können sich zwar noch regelmäßig ändern, sie können vernünftige URLs haben, aber sie gehören einfach auf den Schrottplatz, und jede Suchmaschine, die sich um ihre Nutzer kümmert, wird sie ignorieren. Manchmal handelt es sich nicht um eindeutig und unmissverständlich offensichtlichen Müll. Immer häufiger sind Websites technisch einwandfrei, erreichen aber in puncto Qualität einfach nicht die Messlatte, um häufiger gecrawlt zu werden. Folglich arbeiten alle Bots (einschließlich SEO-Tools) mit einem stark vereinfachten Satz von URLs; sie müssen verstehen, wie oft gecrawlt werden soll, welche URLs häufiger gecrawlt werden sollen und welche Bereiche des Netzes ignoriert werden sollen. Es gibt dafür keinerlei feste Regeln, also muss jedes Tool seine eigenen Entscheidungen auf dem Weg der Indexierung treffen. Deshalb haben Suchmaschinen unterschiedlich indexierte Inhalte, denn SEO-Tools listen unterschiedliche Links auf, und alle darauf aufbauenden Kennzahlen sind völlig verschieden. Falls Sie Hilfe bei der Indexierung Ihrer Website benötigen. [Klicken Sie hier](https://88lab.eu/de/contact/) um mit uns in Kontakt zu treten. [VERWANDTE THEMEN: Wie du deine Website fuer AI-Suche vorbereitest](https://88lab.eu/de/kak-da-podgotvish-sajta-si-za-ai-tarsene/) [VERWANDTE THEMEN: SEO-Leitfaden für Anfänger (2026)](https://88lab.eu/de/narachnik-za-seo-za-nachinaesthi-2026/)  Über den Autor ## Eugenij Dimitrow Gründer und Geschäftsführer von 88Lab Er beschäftigt sich seit über zwei Jahrzehnten mit Webtechnologien, digitalem Marketing und Informationssicherheit. Sein Weg begann bereits **2001 mit LinuxExpress** - sein erstes Webprojekt, das Linux gewidmet war. Später, unter dem Pseudonym **KByte** technische Beiträge und Artikel auf Linux-BG.org, und **2002 gründete er Security-BG** - ein Projekt zum Lernen und Wissensaustausch im Bereich IT-Sicherheit. Heute ist er **Gründer und Geschäftsführer von 88Lab** und arbeitet dort an Webplattformen, SEO, Google Ads, KI-Lösungen und der Optimierung von Online-Geschäften. Zu den Projekten der Agentur gehören **„Banker“, Pulse Fitness & Spa, CoolFit und die Kammer der Bauherren in Bulgarien** . Seine Expertenmeinungen zu **Webtechnologien, digitalem Marketing und Online-Business** wurden in der Zeitung **„Banker“ und auf Actualno.com** . [Mehr über 88Lab](https://88lab.eu/de/za-nas/) ## Beitrag teilen [Facebook](https://www.facebook.com/sharer/sharer.php?u=https%3A%2F%2F88lab.eu%2Fde%2Fzastho-google-ne-obhozhda-vsichki-adresi%2F)[LinkedIn](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2F88lab.eu%2Fde%2Fzastho-google-ne-obhozhda-vsichki-adresi%2F) WEITERLESEN ## Mehr zum Thema [](https://88lab.eu/de/seo-optimierung-leitfaden/) SEO / 24 MIN ### [Leitfaden zur SEO-Optimierung: alles, was Sie wissen müssen](https://88lab.eu/de/seo-optimierung-leitfaden/) Praktischer SEO-Leitfaden: technische Optimierung, Inhalte, Keywords, Verlinkungen, AEO, GEO und die Messung echter Ergebnisse. [Artikel lesen](https://88lab.eu/de/seo-optimierung-leitfaden/) [](https://88lab.eu/de/kak-da-podgotvish-sajta-si-za-ai-tarsene/) SEO / 3 MIN ### [Wie du deine Website fuer AI-Suche vorbereitest](https://88lab.eu/de/kak-da-podgotvish-sajta-si-za-ai-tarsene/) Anatomie des Verstehens - Wie AI Ihre Website sieht und interpretiert Um irgendetwas für die neue Ära der Suche vorzubereiten, müssen wir zuerst erkennen, dass sich die Spielregeln nicht nur verändert haben - es hat sich… [Artikel lesen](https://88lab.eu/de/kak-da-podgotvish-sajta-si-za-ai-tarsene/) [](https://88lab.eu/de/narachnik-za-seo-za-nachinaesthi-2026/) SEO / 2 MIN ### [SEO-Leitfaden für Anfänger (2026)](https://88lab.eu/de/narachnik-za-seo-za-nachinaesthi-2026/) SEO (Search Engine Optimization) ist die Gesamtheit der Maßnahmen, mit denen Ihre Website in Suchmaschinen sichtbarer wird für Suchanfragen, die echte Kunden bringen. Die gute Nachricht: SEO ist keine Magie. Es ist ein Prozess,… [Artikel lesen](https://88lab.eu/de/narachnik-za-seo-za-nachinaesthi-2026/)