Джон Мюлер от Google описа много подробно и честно обяснение защо Google не обхожда и индексират всеки URL или връзки в мрежата. Той обясни, че обхождането не е обективно, скъпо е, може да е неефективно, мрежата се променя много, има спам и боклуци и всичко това трябва да се има предвид.
Джон написа този подробен отговор в Reddit, отговаряйки на „Защо SEO инструментите не показват всички препратки?“ Той отговори на това от гледна точка на Google Търсене:
Няма обективен начин за правилно обхождане в мрежата.
Теоретично е невъзможно да се обходи целият, тъй като броят на действителните URL адреси на практика е безкраен. Тъй като никой не може да си позволи да поддържа безкраен брой URL адреси в база данни, всички уеб роботи правят предположения, опростявания и предположения за това какво реалистично си струва обхождането.
И дори тогава, за практически цели, не можете да обхождате всичко през цялото време, интернет няма достатъчно свързаност и честотна лента за това и струва много пари, ако искате да имате достъп до много страници редовно (за робота и за собственика на сайта).
След това някои страници се променят бързо, други не са се променяли от 10 години – така че роботите се опитват да спестят усилия, като се фокусират повече върху страниците, които очакват да се променят, а не върху тези, които очакват да не променят.
След това стигаме до частта, в която обхождащите се опитват да разберат кои страници всъщност са полезни. Мрежата е пълна с боклуци, от които никой не се интересува, страници, които са били отбелязани като спам и са абсолютно безполезни. Тези страници все още може да се променят редовно, може да имат разумни URL адреси, но те просто са предназначени за депото и всяка търсачка, която се грижи за своите потребители, ще ги игнорира. Понякога това не са ясно и категорчно очевидни боклуци. Все повече и повече, сайтовете са технически изправни, но просто не стигат „летвата“ от гледна точка на качеството, за да заслужават по-често обхождане.
Следователно всички роботи (включително SEO инструменти) работят върху много опростен набор от URL адреси, те трябва да разберат колко често да обхождат, кои URL адреси да обхождат по-често и кои части от мрежата да игнорират. Няма фиксирани правила за нищо от това, така че всеки инструмент ще трябва да взема свои собствени решения по пътя на индексацията. Ето защо търсачките имат различно индексирано съдържание, защото SEO инструментите листват различни връзки, всички показатели, изградени върху тях са напълно различни.
В случай, че имате нужда от помощ с индексирането на сайта си. Щракнете тук за да се свържете с нас.
