Het rel=”nofollow” link attribuut en de robots.txt hebben in de verte vergelijkbare functionaliteit maar het gebruik van deze twee verschilt. Het rel=”nofollow” attribuut wordt steeds mee gebruikt, en helaas steeds meer op een verkeerde manier. Webmasters gebruiken de rel=”nofollow” op plaatsen waar het gebruik van de robots.txt of een wachtwoord meer op zijn plaats zou zijn:
Het rel=”nofollow” attribuut is relatief nieuw, het bestaat sinds een jaar of zo. (waarmee het in internet termen eigenlijk ook weer oud is). Het idee was een code op te nemen om aan te geven dat een link op een website niet noodzakelijkerwijs betrouwbaar is. Zoekmachines zouden van deze informatie gebruik moeten maken bij hun evaluatie van die link. De belangrijkste reden voor de introductie van dit attribuut was de groei in het aantal blog-comment-link-spamming. Het spammen van blog commentaren was een toenemende vorm van zoekmachine spam, hard groeiend naast bestaande vormen van link spamming in “free-for-all” link sites en gastenboek spam.
Veel blog commentaar komt zonder veel controle in een blog te staan, lang niet elke blogger heeft tijd of zin om zijn commentaren zorgvuldig te controleren. Voor spammers ontstaat zo een mogelijkheid om handmatig of automatisch commentaar aan websites toe te voegen, met telkens een link naar hun eigen site. En omdat het aantal soorten blog-engines beperkt is, is het maken van een effectief breed toepasbaar automatisch blog-commentaar-spam-tool relatief simpel. Het idee is dan dat de grote hoeveelheid links een hogere positie in zoekmachines oplevert.
Met het rel=”nofollow” attribuut kregen webmasters de mogelijk om, met behulp van de blog template, alle links in het commentaar als onbetrouwbaar te markeren. Links kunnen nog wel steeds geplaatst worden, maar een webmaster hoef minder goed op te letten voor spammy links, de hoop was dat, omdat blog-comment-spamming minder effectief is, dit verschijnsel zou afnemen. In ieder geval is het minder frustrerend dat een spammer de site kan misbruiken voor zijn eigen belangen.
De ontwikkeling van het gebruik van het nofollow attribuut laat een interrestant beeld zien. Allereerst: het is volkomen onduidelijk wat zoekmachines precies doen met het nofollow attribuut. Google gaf als een van de eerste aan dat ze gebruik gaan maken van het attribuut maar hoe precies is en blijft een grote vraag.
Een Backlink check in yahoo laten gewoon links met nofollow zien. Daarnaast was het nofollow attribuut nooit bedoelt om zoekmachines te verbieden om een link te volgen of te indexeren, het is meer een aanwijzing van: pas op deze link is niet van mij, dus bezoek deze link op eigen risico. Ik sta in ieder geval niet noodzakelijkerwijs achter die site.
Het lijkt erop dat google links met nofollow inderdaad niet volgt. De nofollow is in ieder geval niet schadelijk voor sites waar de link heen wijst, hooguit zal de link ook niet helpen. Het is de vraag of overmatig gebruik van het nofollow attribuut niet schadelijk is voor de pagina waar de links opstaan. De nofollow zegt tenslotte: de link is niet betrouwbaar, en daar dan een hele pagina of site vol mee .. Gebruik de nofollow dan ook op plaatsen waar deze voor bedoelt is, gastenboeken blog commentaren shoutboxen, plekken waar de webmaster geen controle heeft over de links die er geplaatst worden.
De nofollow wordt nu voor alle mogelijke en onmogelijke dingen gebruikt, zo zijn er webmasters die proberen om de PageRank van hun site te kanaliseren, ze geven alle links ( dus ook de links intern ) op een enkele na een nofollow attribuut in de hoop dat de paar overgebleven links de volle lading PageRank score krijgen.
Maar wat deze webmaster eigenlijk aangeven is dat ze de links op en naar hun eigen site niet vertrouwen, een navigatie-menu vol met nofollow tags is behoorlijk amusant, precies die links die juist wel gevolgd moeten worden als onbetrouwbaar bestempelen. Het nofollow attribuut is er niet om links te verbergen voor zoekmachines, de link staat nog steeds duidelijk in de html. En het is ook niet bedoeld om zoekmachines te vertellen waar ze wel en niet heen moeten, dat maken ze zelf wel uit. Het is een eenvoudige hint, niks meer of minder.
Als er pagina”s op je site zijn die je liever niet terugziet in de zoekmachines dan is het gebruik van de robots.txt de aangewezen methode. Dit is een eenvoudig tekst bestand om aan te geven welke pagina”s niet moeten worden opgenomen. Een alternatief is de meta tag robots
Let wel, zowel het gebruik van de robots.txt als de robots-meta tag zijn niet bindend, het zijn slechts verzoeken aan de zoekmachine. Als je zeker wilt zijn dat een pagina niet opgenomen wordt rest niet anders dan het beveiliging met een login/wachtwoord
Het gebruik van de robots.txt heeft ook een zeker (klein) veiligheids risico. De robots.txt is tenslotte een voor de wereld leesbaar tekst bestand. Delen van de website die hier in staan zouden bezoekers wel eens op het idee kunnen brengen dat daar juist heel interessante dingen staan.
User-agent: * Disallow: /stats/