Hämähäkki vierailut verkkosivuilla, lukee sisällön siinä, Sisällönkuvauskentät ja seuraa myös linkkejä sivuston nähdä muut sivustot, jossa kävijät kutsutaan. Tämän jälkeen hämähäkki saa kaikki tiedot on poimittu yhteen ja sijoittaa sen keskeinen liikkeeseen, josta se on indeksoitu. Johtuen siitä, että jotkut robotit vain indeksin niin monta sivua sivustosi, ei ole suositeltavaa luoda verkkosivuston liian monta sivua. Ajoittain hämähäkki uudelleen sivuston nähdä, jos jotain on muuttunut ja valvojat hakukone sanella miten säännöllisesti tämän tarkistuksen tapahtuu.
Hämähäkki joka voi indeksoida jopa miljoona sivua päivässä on samanlainen kirja, että on sisällysluettelo, jonka jälkeen todellinen sisältö ja kaikki viittaukset ja linkit se löytää muut sivustot koko haku. Joitakin esimerkkejä hakukoneet ovat AltaVista, Excite, Google ja Lycos. Hakukone etsii pyydetyt tiedot katsomalla indeksi toisin kuin World Wide Web. Koska kaikki hakukoneet käyttävät samaa algoritmia, löydät hakukoneet tuottaa erilaisia tuloksia.
Avainsanat ja niiden taajuus ja sijainti ovat yksi niistä asioista, jotka hakukoneen algoritmia skannaa verkkosivulla, mutta se on myös erinomainen piristymisen keinotekoinen Hakusanalla pehmusteina, joka tunnetaan myös nimellä spamdexing. Algoritmit sitten tutkia miten Sivulle muille sivuille mahdollistaa hakukone tunnistaa mitä sivu on kyse, kun avainsanoja liittyvät sivut eivät ole erilaisia kuin alkuperäisen sivun.