txt-tiedoston koostuu useista kirjaa, joista kummankin ohjeet tietyn haun-bot. Ennätys koostuu yleensä kahdesta osasta, ensimmäinen on nimeltään user-agent ja siellä nimi etsintä-botti on listattu. Toinen rivi consits yhden tai useamman "estää" riviä. Nämä linjat kertovat WebCrawler joka tiedostoja tai kansioita ei indeksoida (eli CGI-bin kansio) .Jos sinulla on verkkosivusto ja ei ole robots.txt-tiedostoa, voit luoda yhden helposti. Kuten aiemmin mainittiin, tiedostot ovat pelkkää tekstiä, joten vain avata notepad ja tallenna tiedoston robots.txt.
Useimmat ylläpitäjät voivat käyttää yhtä kirjaa, joita sovelletaan kaikkiin hakukoneindeksoijat. Kun olet avannut muistilehtiö syötä seuraavat tiedot: User-agent: * Disallow: "*" soveltaa tätä sääntöä kaikkiin botit. Tässä esimerkissä, ei ole mitään lueteltu Disallow linjaa. Tämä kertoo robotti indeksoida koko sivusto. Voit myös kirjoittaa kansion polku täällä kuten "/yksityinen", jos on kansio, joka ei indeksoida. Tämä voi olla erittäin hyödyllistä, jos olet kokeillaan vielä osa sivuston tai on osuus on vielä alle construction.Now että tiedät mitä pitäisi mennä robots.
txt-tiedoston, on useita yleisiä virheitä ihmiset tekevät luotaessa nämä tiedostot. Älä koskaan kirjoita muistiinpanoja tai kommenttejasi tiedosto nämä tekijät saattavat aiheuttaa sekaannusta WebCrawler. Myös, formaatti tulisi aina olla user-agent ensimmäisellä rivillä, jonka jälkeen Disallow (t). Älä kääntää järjestyksessä. Toinen yleinen virhe liittyy käyttäen väärä asia. Jos hylätyt kansio on /yksityinen, varmista robots.txt-tiedosto ei luetella kansio /Yksityinen. Tuntuu siltä, hyvin pieni asia, mutta se aiheuttaa ongelmia, jos se tehdään väärin. Lopuksi, ei ole Salli komentoa.
Et voi kertoa WebCrawler mitä katsomaan, vain mitä ei etsiä at.If olet edelleen utelias robots.txt-tiedoston voit löytää paljon monimutkaisempia esimerkkejä verkossa. Vain kokeilla yksi suosikki sivustot ja etsiä niiden robots.txt-tie