Binnen de online marketingwereld zijn noindex en nofollow twee bekende begrippen. Maar waar SEO normaal juist draait om meer zichtbaarheid creëren in zoekmachines zoals Google, zijn noindex en nofollow juist bedoeld om het tegenovergestelde te bereiken.
Alhoewel de termen best wel op elkaar lijken, zit er wel degelijk verschil in. Noindex heeft betrekking op pagina’s en betekent dat zoekmachines de betreffende pagina niet mogen indexeren (opnemen in hun zoekresultaten). Nofollow heeft betrekking op links en betekent dat crawlers van zoekmachines een bepaalde link niet moeten volgen (oftewel: de pagina waar de link naartoe verwijst moet niet gecrawld worden). Dit zijn twee verschillende dingen. Hieronder gaan we er graag nog wat dieper op in.
Noindex is een meta tag die te vinden is in de <head> van de broncode. In deze metatag kun je aangeven of links op die pagina niet of wel gevolgd mogen worden. Hier wordt dus een noindex met een follow of nofollow richtlijn voor de crawler gecombineerd. Een noindex, follow zal uiteindelijk hetzelfde effect hebben als een noindex, nofollow. Want als jij aangeeft dat de pagina niet geïndexeerd mag worden, dan zal Google een volgende keer die pagina ook niet meer crawlen en de links op die pagina ook niet meer vinden. Wil je wel dat een pagina geïndexeerd wordt? Dan is deze meta tag dus niet van toepassing.
Is er een bepaalde link op je website waarvan je niet wilt dat een crawler, zoals Googlebot deze volgt, dan kun je aan die link een rel=”nofollow” meegeven. Hiermee laat je crawlers weten dat ze deze link niet moeten volgen. Eerder werd een nofollow ook nog wel eens gebruikt om interne linkwaarde te sturen. Er werd dan op links naar interne pagina’s een nofollow geplaatst om hier geen linkwaarde aan te verspillen. Het nadeel is dat dit een verkeerd signaal kan geven aan Google.
Verder is het belangrijk om je te beseffen dat een nofollow er niet voor zorgt dat de desbetreffende pagina helemaal niet geïndexeerd wordt. Via bijvoorbeeld de sitemap kan de pagina nog steeds gevonden worden. Mocht je echt niet willen dat Google deze pagina indexeert, kun je hier beter een noindex tag voor gebruik en de pagina eventueel uitsluiten voor crawlers via je robots.txt.
In bovenstaande uitleg hebben we het ook wel over robots.txt. Maar wat is robots.txt? Als de crawler van een zoekmachine jouw website bezoekt, checkt het eerst voor het bestaan van een Robots.txt bestand in de root van het domein. Vanwege de directe link met de crawlers van zoekmachines is de robots.txt een belangrijk bestand voor SEO specialisten. Voor SEO is het van belang dat de belangrijke pagina’s van een website toegankelijk zijn en geïndexeerd kunnen worden. Daarnaast wordt gezorgd dat juist aan de niet-belangrijke pagina’s geen aandacht besteed wordt door een crawler. De robots.txt kan hier cruciaal in zijn. Één enkele regel in de robots.txt kan ervoor zorgen dat een groot gedeelte van de website niet geïndexeerd gaat worden.
