Kun Googlebot hakee sivun, se ammentaa kaikki linkit sivulla näkyvää ja lisää ne jonoon myöhempää indeksoinnin. Googlebot taipumus kohtaavat vähän roskapostia, koska useimmat web laatijat viittaavat ainoastaan siihen, mitä he uskovat ovat laadukkailla sivuilla. Kokoamalla linkit jokaisen sivun se kohtaa, Googlebot voi nopeasti rakentaa listan linkeistä, jotka voivat kattaa laajan saavuttaa verkossa. Tämä tekniikka, joka tunnetaan syvä indeksoinnin, mahdollistaa myös Googlebot koetin syvälle yksittäisiä sivustoja. Koska niiden laajamittaista, syvä indeksointi pääsee lähes jokaisen sivun Web.
Koska web on valtava, tämä voi kestää jonkin aikaa, joten jotkut sivut voivat indeksoida vain kerran kuukaudessa. Vaikka sen toiminta on yksinkertainen, Googlebot on ohjelmoitava käsitellä useita haasteita. Ensinnäkin, koska Googlebot lähettää samanaikaisia pyyntöjä tuhansia sivuja, jono "vierailla pian" URL on jatkuvasti tutkittava ja verrataan URL jo Googlen hakemistossa. Kopiot jonossa on poistettava estää Googlebotia hakemalla saman sivun uudelleen. Googlebot on päätettävä, kuinka usein palata sivulle. Toisaalta, se on resurssien tuhlausta uudelleen indeksi ennallaan sivu.
Toisaalta, Google haluaa uudelleen indeksoida muuttuneet sivut toimittaa ajan tasalla tuloksiin. Pitää indeksi nykyinen, Google jatkuvasti recrawls suosittu usein muuttuvat verkkosivut nopeudella suunnilleen verrannollinen kuinka usein sivut muuttuvat. Tällainen indeksointien pitää indeksi nykyisten ja tunnetaan tuore indeksoinnin. Sanomalehti sivut ladataan päivittäin, sivut pörssikurssit ladataan paljon useammin. Tietenkin, tuore indeksointien palata vähemmän sivuja kuin syvä indeksoinnin.
Yhdistelmä kahden indeksoinnin avulla Google sekä käyttää tehokkaasti resurssejaan ja pitää sen indeksi kohtuullisen nykyinen. 2. Googlen Indexer Googlebot antaa indeksointilaite koko teksti sivujen se toteaa. Nämä sivut on tallennettu Googlen indeksissä tietokantaan. Tämä indeksi on lajiteltu aakkosjä