slideshow cover gray slideshow cover gray
Ga terug
DesignPro-KristelvanDijk-Portret 8a
Emie Noordanus
18 maart 2020
6 min. lees plezier
Designpro.nl

Meer crawl budget, jouw website sneller door Google laten indexeren: 6 factoren die jij kunt optimaliseren

Een beperkt crawl budget hoort, gelukkig, niet tot de meest voorkomende SEO problemen. Maar is dit hét probleem van jouw website? Dan moet je nú hard aan de bak om dit op te lossen. We vertellen je graag hoe. 

Wat is een crawl budget? 

Iedere website heeft een crawl budget, maar wat is dat? Een crawl budget is het aantal pagina’s van jouw website dat Google dagelijks crawlt. 

Crawlen is het uitlezen van een webpagina door Google. Op basis van de info die Google hierbij vindt, indexeert hij jouw pagina voor de Google zoekresultaten.

Het crawl budget kan per website en per dag verschillen. Als website eigenaar wil je natuurlijk dat dit budget zo hoog mogelijk is. Hoe meer pagina’s Google dagelijks crawlt, hoe meer kans jij hebt dat jouw aanpassingen, nieuwe producten enzovoorts worden opgenomen in de Google zoekresultaten.

Wat bepaalt jouw crawl budget?

Hoeveel crawl budget jouw website heeft, hangt van vele factoren af. De exacte lijst van factoren is voor iedereen, die geen Googlebot heet, een groot mysterie. Echter is het wel duidelijk geworden dat de volgende factoren een substantieel aandeel hebben in dit budget:

  • Grootte van de website
  • Aantal links naar de website
  • Autoriteit van de website
  • Snelheid van website
  • Hoeveelheid errors/404s op de website 

Is het crawl budget een probleem voor jouw website?

Of jouw website leidt onder een beperkt crawl budget kun je bepalen door te kijken naar de verhouding tussen het totaal aantal pagina’s van jouw site én het gemiddeld aantal pagina’s dat Google dagelijks crawlt. 

Het totaal aantal pagina’s vind je door in te loggen via Search Console > Dekking > Geldige pagina’s te bekijken. 

Via deze tool van (het oude) Search Console kun je zien hoeveel van jouw pagina’s dagelijks worden gecrawld.  

Blog-crawl-budget-designpro-crawlstatistiek

Voorbeeld:

Wanneer je bijvoorbeeld 10.000 pagina’s hebt en er worden er dagelijks 400 gecrawld, dan duurt het heel lang voordat jouw hele website is gecrawld. Google neemt belangrijke pagina’s, zoals de homepagina, namelijk vaker mee dan andere pagina’s.

In dit geval, waarbij we even uitsluiten dat pagina’s in deze periode dubbel worden gecrawld, duurt het dus minimaal 10.000/400=25 dagen voordat de hele website is nagelopen. 

Als jij een nieuw product aan de webshop toevoegt, kan het meer dan 25 dagen duren voordat dit product wordt opgepikt door Google. 

Maak je deze berekening (totaal aantal pagina’s/ gemiddeld aantal dagelijks gecrawlde pagina’s) en kom je uit op minder dan 10 dagen, dat is er niks mis met jouw crawl budget. Heeft Google meer dan 10 dagen nodig om jouw site na te lopen? Lees dan verder voor onze tips.

Grote websites en dynamische webshops

De meeste websites hebben geen last van een te klein crawl budget en hoeven hiervoor dus niet te optimaliseren. Grote websites en webshops hebben hier helaas vaak wel last van. Net als extreem dynamische websites. Als producten slechts een korte periode in de webshop te vinden zijn, waarna ze worden verwijderd, dienen deze URL’s geredirect (een andere bestemming te krijgen) te worden. Door dit regelmatig te doen ontstaan er veel verwijzingslijsten.

In dit geval moet Google veel meer pagina’s nalezen en door lange lijsten vol redirects rennen om tot één bestemming te komen. Deze zaken kosten tijd. En dus is het voor bijvoorbeeld webshops met heel veel producten zaak om het budget dat ze hebben zo efficiënt mogelijk in te zetten. 

Hoe verhoog je het crawl budget van jouw website?

Je kunt crawl budget zien als een bepaalde tijd die Google dagelijks aan jouw website spendeert. Je wilt deze tijd optimaal benutten en dus moet jouw website zo snel mogelijk zijn, geen doodlopende URL’s bevatten en moet je Googlebot vertellen welke pagina’s hij wél en vooral welke hij niet mag indexeren. 

Dubbele-content-designpro

Dubbele content 

Dubbele content is voor online vindbaarheid uit den boze. Wanneer dezelfde inhoud zich op 2 verschillende URL’s bevindt, spreken we van dubbele content. 
Waarom is dit zo slecht voor jouw Crawl budget? Google moet nu 2 URL’s crawlen om dezelfde content uit te lezen. De tijd die hij aan de 2de URL besteedt, kan hij beter investeren in andere mooie pagina’s van jouw website. Zeker wanneer dit bij 100 producten het geval is, verlies je veel kostbare crawltijd.

Vaak komt dubbele content voor in een webshop met een inefficiënte structuur. Zo vind je één product in meerdere categorieën en dus onder meerdere URL’s. Structureer jouw webshop dus op een juiste manier om te voorkomen dat je dubbele content creëert.

Productfilters met eigen URL’s 

Heeft jouw webshop een filtermogelijkheid? Daarmee help je jouw klanten aanzienlijk! Ze filteren op kleur, prijs, materiaal en meer. Elke filter levert een nieuwe URL op. Maar of je nu alle mogelijke filter URL’s wilt laten indexeren? Dat kost veel tijd/ crawl budget. Het is dan ook belangrijk om de balans te vinden tussen URL's met filters die je wél en niet laat indexeren. Merk je bijvoorbeeld dat jouw crawl budget beperkt is, dan is dat misschien het moment om te kijken welke filterpagina's niet worden gebruikt en deze uit te sluiten van indexering. 

Je kunt deze filter URL’s uitsluiten van crawlen door een Disallow regel toe te voegen aan jouw robots.txt bestand. (Hiermee geef je aan dat Google deze pagina’s niet mag crawlen.)
Dit geldt natuurlijk ook voor andere irrelevante pagina’s die je niet door Google wilt laten crawlen. Denk aan bedankt- of inlogpagina’s. 

Vraag eventueel jouw webbouwer om dit voor je te doen.

404pagina’s ofwel doodlopende URL’s 

404’s zijn eigenlijk doodlopende URL’s. Ze ontstaan bijvoorbeeld wanneer een artikel in een webshop is verplaatst, een pagina is verwijderd, enzovoorts. 
Hoe meer 404’s jouw website heeft, hoe ongezonder/minder sterk de website is in de ogen van Google. Immers belemmeren 404pagina’s het gebruiksgemak van jouw bezoekers. 

Daarbij kost het Google meer tijd om deze links na te lopen, immers moet hij om één pagina te crawlen langs 2,3 of meer URL’s die continue worden doorverwezen. 

Verminder het aantal 404’s door deze permanent door te verwijzen naar relevante wél bestaande pagina’s of vervang de bestemming van interne links en buttons op jouw website direct door de juiste bestemming.

snelheid-websites-designpro

Onvoldoende snelheid

Een logische factor die jouw crawl budget beïnvloedt is de snelheid van jouw website. Immers hoe sneller jouw pagina laadt, hoe sneller Google deze kan crawlen en door kan naar de volgende pagina. Is jouw website te traag? Dan kost het Google meer tijd om de pagina te crawlen en te indexeren en kan hij vandaag minder van jouw pagina’s uitlezen.

De sneheid van jouw website is afhankelijk van o.a:

  • Code van de website
  • Grootte van de afbeeldingen
  • Data structured MarkUp

Interne- en vooral externe- rel=’nofollow’ links

Wil je een bezoeker wél verwijzen naar een specifieke pagina, maar is die pagina niet interessant voor Google? Hang dan een ‘rel=’nofollow’ label aan deze link. Zo kan de bezoeker gebruik maken van jouw link maar verspilt Google geen kostbare tijd aan het crawlen van deze pagina. 

backlinknetwerk-designpro

Creëer meer (back)links

We hebben je al eerder verteld dat backlinks goed zijn voor de vindbaarheid van een website. Dit komt ook nu weer terug als we het hebben over crawl budgetoptimalisatie. 

Wanneer Google een pagina crawlt, leest hij niet alleen de tekst en inhoud op de pagina, maar loopt hij ook alle aanwezige links na. Crawlt Google op dit moment een website waar jouw link op staat? Dan volgt Google deze link tot zijn bestemming: jouw pagina. Zo krijg je meer crawl budget doordat iemand anders naar jou verwijst. (Mits dit geen ‘nofollow’ link is uiteraard.)

Ook interne links helpen Google bij het crawlen. Niet alleen begrijpt Google zo beter de structuur van jouw website, ook loopt hij elk linkje dat hij op jouw pagina vindt na. Heb jij 1 pagina met 4 links? Dan crawlt Google in één keer alle 5 de pagina’s. Dat is toch dikke winst! 

Aan de bak voor een hoger crawlbudget

Gelukkig hebben de meeste websites geen problemen met een te klein crawl budget. Het verhogen hiervan kost namelijk veel tijd en is geen makkelijke opgave. Merk je dat jouw webshop of website wél last heeft van een beperkt aantal gecrawlde pagina’s? Dan hopen we dat je nu de juiste handvaten hebt om hier aan te werken. Natuurlijk kun je ons altijd om advies vragen als je er niet uit komt. 
 

Reacties

Lees de reacties op Meer crawl budget, jouw website sneller door Google laten indexeren: 6 factoren die jij kunt optimaliseren

(Nog) geen reactie(s), wees de eerste!
Reageren

Laat een reactie achter

Reageren

Het e-mailadres niet wordt niet getoond op de website.

Laat een reactie achter

Contact opnemen
Liever gewoon bellen?
Contactformulier
Relevante blog(s)

Aanvragen

Tekst Certificeringen

Verstand van wat we doen

Bekijk onze certificeringen

Designpro.nl logo
Designpro.nl
designpro-is-google-partner
Google partner

Google partner

Meer info
designpro-specialist-in-bing-ads
Bing ads accredited profesional

Bing ads accredited profesional

Meer info

Wat zeggen onze klanten over Designpro

Bekijk onze recensies en hun project!

shutterstock_641138056
shutterstock_1416483638
shutterstock_355428872
  • 24 jaar Actief op het web
  • 2250 + Klanten gingen u voor
  • 6200 + Websites gerealiseerd
Informatie aanvragen

© 2020 Designpro.nl | Alle rechten voorbehouden

Powered by Dynacontent, het CMS systeem van Designpro