Познаване на Googlebot

Googlebot е робот, който ви позволява да проследявате мрежата на Google, е известен също като Google паяк. По този начин системата открива новите страници, които са индексирани в базата данни, където се актуализират, и се включва отново в индекса на Google.
Google използва голямо количество компютърно оборудване за обхождане на милиарди страници, които се разпространяват в мрежата. Той се основава на алгоритмичен процес на проследяване, при който компютърните програми определят сайтовете, които ще бъдат проследени, както и честотата и броя на страниците за търсене на всеки сайт. Процесът започва със списък на генерирани преди това уеб страници, който се разширява въз основа на данните, предоставени от картите на сайтове, които уеб администраторите включват. Googlebot открива връзките при всяко ваше посещение към тези уебсайтове, като ги добавя към списъка със страници, които трябва да бъдат обходени. Системата открива нови сайтове, направени промени в съществуващи и връзки, които са остарели, и след това актуализира индекса на Google.
Как Googlebot осъществява достъп до сайта
Googlebot обикновено нямате достъп до сайтове повече от веднъж и за няколко секунди. По принцип системата изтегля само едно копие от всяка страница, в случай че изтегляте една и съща страница няколко пъти, това вероятно се дължи на спиране и рестартиране на робота.
Googlebot се разпространява на няколко компютъра, плюс някои от паяците се изпълняват от компютри, които се намират близо до сайтовете, които индексират. Възможно е регистрационните файлове на страници да показват посещения от множество компютри като потребителски агент.
Целта е да обхождате най -големия брой страници на уебсайт при всяко ваше посещение, без да свивате честотната лента на сървъра.
Системата намира сайтове чрез връзките на техните страници. В случай на грешки при проследяване, те могат да бъдат видени в Инструментите за уеб администратори, предоставени от Google. Той изброява проблемите, възникнали при обхождане на сайт. Добра идея е да проверявате редовно всички грешки при обхождане, които могат да възникнат, за да ги идентифицирате и поправите.
Тъй като IP адресите, обработвани от Googlebot, са склонни да се различават от време на време, идеалното е да използвате робота „потребителски агент“ (Googlebot). Паякът на Google ще спазва указанията във файла robots.txt, но злонамерените потребители може да не ги спазват.