Assertivenet Spider on gigablast Spider

- 2006-03-11 03:47:34 66.154.103.119 - 216.89.218.168 80 GET /larger_image.asp PID = 215 200 0 0 299 125 HTTP /1.0 www.hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html

- 2006-03-11 03:50:37 66.154.103.119 - 216.89.218.168 80 GET /larger_image.asp PID = 195 200 0 0 299 31 HTTP /1.0 www.hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html

- 2006-03-11 07:47:05 66,154. 103,125 - 216.89.218.168 80 GET /robots.txt - 200 0 400 285 78 HTTP /1.0 www.

hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html

- 2006-03-11 07: 47:05 66.154.103.119 - 216.89.218.168 80 GET /larger_image.asp PID = 219 200 0 0 299 109 HTTP /1.0 www.hibiscusflorals.com Gigabot /2.0 /gigablast.com /spider.html

-

hämähäkki tässä tapauksessa todella kuuluu hakukoneen nimeltä gigablast, ja on osuvasti Gigabot. Gigabot vain indeksoitujen sivujen ja tiedostojen muut hakukoneet ovat, ja ei tehnyt yrityksiä lainkaan käyttää tiedostoja ja skriptejä tunnetun ilkeä luonteeltaan.

gigablast on "Tier 2" hakukone, joka on yli miljardi sivut indeksoidaan siitä päivästä, jona tämän artikkelin (13. maaliskuuta 2006.) Vaikka se ei ole samalla tasolla kannalta suosio kuten Big 3 Yahoo !, MSN ja Google, se on indeksoitu merkittävästi suuri osa verkossa, ja voi olla hyötyä joillekin hakuja. Erityisesti gigablast on toteuttanut "Giga bittiä" ominaisuus, jossa vaihtoehtoinen haut ehdotetaan perustuvat käyttäjän alkuperäisen kyselyn, jotta auttaa kaventamaan kyselyn alas ja antamaan enemmän osuvuutta.

Olen tehnyt lisätutkimuksia ja havaitsivat, että jotkut IP-osoitteita 66,154. * IP-lohkon eivät päättämään gigablast.com esim: