Ymmärtäminen Ja Käyttämällä robots.txt tiedostoja!

Me kaikki saada hieman innoissaan, kun hakukoneet käyntejä nettisivuiltamme usein ja indeksoi sisältöä. On kuitenkin olemassa tiettyjä asioita, jotka me Don t halua hakukoneiden hämähäkki koska yksityisiä tietoja, että me don t halua maailman nähdä. Toinen skenaario olisi, että meillä voi olla enemmän kuin yksi versio sivun sivustollamme. Voimme kertoa hakukoneita meidän robot.txt tiedosto, joka sivu ryömiä ja mitkä sivuuttaa.

Olemme ehdottomasti Don t haluavat sekä näiden sivujen indeksoidaan ja päätyä hakukoneen naulaus sinua roskapostia, koska päällekkäistä sisältöä on kahta samanlaista versiota yhden page.Another syystä haluat ehkä kertoa robotit ei hämähäkki sivu olisi säästää kaistanleveyttä pois osa kuvista, tyylisivuja tai Javascript. Kanssa robot.txt tiedosto voi olla hyvin tarkka, mitä haluat spidered eikä spidered.What se robots.txt-tiedostoa todella tarkoittaa? Robots.

txt on tekstitiedosto (ei html) laittaa Web-sivuston ilmoittaa hakurobotit mitkä sivut sivustosi haluaisit ryömi ja mitkä et halua robotit indeksoida. Sijoittaminen robots.txt sivustosi ei ole valtuuttanut hakukoneet kuitenkin, hakukoneet yleensä seurata ohjeita voisitte laittaa tähän tiedostoon. Tämä prosessi on samanlainen kuin laittamalla merkki Web-sivuston sanoi Älä Enter auki oven. Tämä tiedosto ei ole palomuuri niin hakukone voi silti hämähäkki site.Another tavalla voisitte kertoa moottoreiden tiedostot ja kansiot ei hämähäkki olisi käyttämällä robotteja metatunniste.

Jotkut moottorit don t lukea metatagit, joten tiedot robotit metatunniste ei nähtäisi lainkaan tiettyjen moottoreita. Edullinen tapa on erityistä kaikille moottoreille olisi käytön robots.txt-tiedoston .... ei robotteja metatags.Where asetat robots.txt-tiedosto on erittäin tärkeää. Sen on oltava tärkein hakemistoon tai hakukoneita ei löydä tiedostoa. Moottorit eivät etsi koko sivuston, ne näyttävät pääasiassa hakemistoon ja jos he eivät t löydä tiedostoa siellä, moottori voisi olettaa, että tällainen tiedostoa ei ole olemassa.

Tämän seurauksena jälkeen moottori olisi indeksi kaiken he löytävät sivuston. Vaikka tätä tiedostoa ei vaadita moottorit, jos et t laittaa tiedosto oikeaan paikkaan hakukoneet todennäköisesti hakemisto koko sivuston, mukaan lukien yksityiset tiedot halusi pitää confidential.The rakenteeseen robots.txt-tiedoston ei juurikaan ole joustavuutta. Oppiminen toiminta ja rakenne on melko yksinkertainen, jos et hieman tutkimuksen ja oppia se s toiminto ja tarkoitus.

On ohjelma, jotka ovat saata