Klanten beoordelen ons met een 5/5

Crawlen

Madelaine van den Berg SEO- & contentspecialist

De betekenis van crawlen 

Zoekmachines zoals Google hebben specifieke algoritmen. Deze algoritmen bepalen hoe hoog een website scoort in Google. Een pagina moet relevant zijn voor de gebruiker en deze relevantie telt dan ook zwaar mee. Om de kwaliteit en de inhoud van deze pagina’s goed te beoordelen, zoeken ‘robots’ en ‘spiders’ continue naar informatie. Op basis van verschillende criteria en frequentie van updates zal een site vaker of juist minder vaak bezocht worden.

Wat gebeurd er tijdens het crawlen? 

In eerste instantie kijken de bots naar een lijst met sitemaps en webadressen uit eerdere crawls. Vanuit daar zoeken de bots alle andere links naar pagina’s die bezocht kunnen worden. Daarbij is speciale aandacht voor nieuwe sites, wijzigingen in bestaande sites en broken links. Ook is het mogelijk te bepalen welke webadressen niet mogen worden geïndexeerd met behulp van robots.txt’s zodat deze niet terug te vinden zijn wanneer wordt gezocht in zoekmachines. Denk hierbij aan bedankpagina’s na een aankoop op je website.

Wat is het crawl budget en hoe werkt dit? 

Door middel van het crawl budget bepaalt Google hoe lang de crawlers over de website crawlen. Hoe hoger je budget, hoe meer tijd Google neemt. Maar zelfs Google zal niet onbeperkt blijven crawlen, zelfs Google heeft grenzen als het gaat om budget. Het is een grote machine die alle gevonden data van het hele wereldwijde internet moet opslaan in datacenters. Dat kost geld. 

Om kosten te besparen, wil het webpagina’s crawlen met hoge kwaliteit. Daarvoor gaat het op zoek naar signalen op je website die daarop duiden. Je kunt rekening houden met de volgende punten: 

  • Mocht het aantal URLs van een website haar crawl budget overschrijden, dan zullen er dus ook pagina’s zijn die niet worden gecrawld en geïndexeerd; 
  • Als je een website hebt die veel niet-zinvolle URL’s bevat, kan dit ervoor zorgen dat je crawl budget wordt verlaagd. En wanneer een URL niet gecrawld of geïndexeerd is, kan die ook niet ranken in de zoekresultaten; 
  • Je wil dus ten alle tijden vermijden dat Google je crawl budget verspilt aan waardeloze URLs.

Waar wacht je nog op?

Ontdek hoe je meer resultaten behaalt!