Verstand van wat we doen
Bekijk onze certificeringen
Een beperkt crawl budget hoort, gelukkig, niet tot de meest voorkomende SEO-problemen. Maar is dit hét probleem van jouw website? Dan moet je nú hard aan de bak om dit op te lossen. Wij vertellen je graag hoe.
Iedere website heeft een crawl budget, maar wat is dat? Een crawl budget is het aantal pagina’s van jouw website die Google dagelijks crawlt. Crawlen is het uitlezen van een webpagina door Google. Op basis van de info die Google hierbij vindt, indexeert hij jouw pagina voor de Google zoekresultaten.
Het crawl budget kan per website en per dag verschillen. Als website-eigenaar wil je natuurlijk dat dit budget zo hoog mogelijk is. Hoe meer pagina’s Google dagelijks crawlt, hoe meer kans jij hebt dat jouw aanpassingen en nieuwe producten worden opgenomen in de Google zoekresultaten.
Hoeveel crawl budget jouw website heeft, hangt van vele factoren af. De exacte lijst van factoren is voor iedereen die geen Googlebot heet, een groot mysterie. Echter is het wel duidelijk geworden dat de volgende factoren een substantieel aandeel hebben in dit budget:
Grootte van de website
Aantal links naar de website
Autoriteit van de website
Snelheid van website
Hoeveelheid errors/ 404s op de website
Of jouw website leidt onder een beperkt crawl budget, kun je bepalen door te kijken naar de verhouding tussen het totaal aantal pagina’s van jouw site én het gemiddeld aantal pagina’s dat Google dagelijks crawlt.
Het totaal aantal pagina’s vind je door in te loggen via Google Search Console > Dekking > Geldige pagina’s te bekijken.
Via deze tool van (het oude) Search Console kun je zien hoeveel van jouw pagina’s dagelijks worden gecrawld.
Wanneer je bijvoorbeeld 10.000 pagina’s hebt en er worden er dagelijks 400 gecrawld, dan duurt het heel lang voordat jouw hele website is gecrawld. Google neemt belangrijke pagina’s, zoals de homepagina, namelijk vaker mee dan andere pagina’s.
In dit geval, waarbij we even uitsluiten dat pagina’s in deze periode dubbel worden gecrawld, duurt het dus minimaal 10.000/400= 25 dagen voordat de hele website is nagelopen.
Als jij een nieuw product aan de webshop toevoegt, kan het meer dan 25 dagen duren, voordat dit product wordt opgepikt door Google.
Maak je deze berekening (totaal aantal pagina’s/ gemiddeld aantal dagelijks gecrawlde pagina’s) en kom je uit op minder dan 10 dagen, dan is er niks mis met jouw crawl budget. Heeft Google meer dan 10 dagen nodig om jouw website na te lopen? Lees dan verder voor onze tips.
De meeste websites hebben geen last van een te klein crawl budget en hoeven hiervoor dus niet te optimaliseren. Grote websites en webshops hebben hier helaas vaak wel last van. Net als extreem dynamische websites. Als producten slechts een korte periode in de webshop te vinden zijn, waarna ze worden verwijderd, dienen deze URL’s geredirect (een andere bestemming te krijgen) te worden. Door dit regelmatig te doen ontstaan er veel verwijzingslijsten.
In dit geval moet Google veel meer pagina’s nalezen en door lange lijsten vol redirects rennen om tot één bestemming te komen. Deze zaken kosten tijd. En dus is het voor bijvoorbeeld webshops met heel veel producten zaak om het budget dat ze hebben zo efficiënt mogelijk in te zetten.
Je kunt crawl budget zien als een bepaalde tijd die Google dagelijks aan jouw website spendeert. Je wil deze tijd optimaal benutten en dus moet jouw website zo snel mogelijk zijn, geen doodlopende URL’s bevatten en moet je Googlebot vertellen welke pagina’s hij wél en vooral welke hij niet mag indexeren.
Dubbele content is voor online vindbaarheid uit den boze. Wanneer dezelfde inhoud zich op 2 verschillende URL’s bevindt, spreken we van dubbele content. Waarom is dit zo slecht voor jouw crawl budget? Google moet nu 2 URL’s crawlen om dezelfde content uit te lezen. De tijd die hij aan de 2de URL besteedt, kan hij beter investeren in andere mooie pagina’s van jouw website. Zeker wanneer dit bij 100 producten het geval is, verlies je veel kostbare crawltijd.
Vaak komt dubbele content voor in een webshop met een inefficiënte structuur. Zo vind je één product in meerdere categorieën en dus onder meerdere URL’s. Structureer jouw webshop dus op een juiste manier om te voorkomen dat je dubbele content creëert.
Heeft jouw webshop een filtermogelijkheid? Daarmee help je jouw klanten aanzienlijk! Ze kunnen filteren op kleur, prijs, materiaal en meer. Elke filter levert een nieuwe URL op. Maar of je nu alle mogelijke filter URL’s wilt laten indexeren? Dat kost veel tijd/ crawl budget. Het is dan ook belangrijk om de balans te vinden tussen URL's met filters die je wél en niet laat indexeren. Merk je bijvoorbeeld dat jouw crawl budget beperkt is, dan is dat misschien het moment om te kijken welke filterpagina's niet worden gebruikt en deze uit te sluiten van indexering.
Je kunt deze filter URL’s uitsluiten van crawlen door een Disallow regel toe te voegen aan jouw robots.txt bestand (hiermee geef je aan dat Google deze pagina’s niet mag crawlen). Dit geldt natuurlijk ook voor andere irrelevante pagina’s die je niet door Google wilt laten crawlen. Denk aan bedankt- of inlogpagina’s. Vraag eventueel jouw webbouwer om dit voor je te doen.
404’s zijn eigenlijk doodlopende URL’s. Ze ontstaan bijvoorbeeld wanneer een artikel in een webshop is verplaatst of een pagina is verwijderd. Hoe meer 404’s jouw website heeft, hoe ongezonder en minder sterk de website is in de ogen van Google. Immers belemmeren 404-pagina’s ook het gebruiksgemak van jouw bezoekers.
Daarbij kost het Google meer tijd om deze links na te lopen. Ook moet Google om één pagina te crawlen langs 2, 3 of meer URL’s die continue worden doorverwezen.
Verminder het aantal 404’s door deze permanent door te verwijzen naar relevante wél bestaande pagina’s of vervang de bestemming van interne links en buttons op jouw website direct door de juiste bestemming.
Een logische factor die jouw crawl budget beïnvloedt, is de snelheid van jouw website. Hoe sneller jouw pagina laadt, hoe sneller Google deze kan crawlen en door kan naar de volgende pagina. Is jouw website te traag? Dan kost het Google meer tijd om de pagina te crawlen en te indexeren en kan hij vandaag minder van jouw pagina’s uitlezen.
De snelheid van jouw website is afhankelijk van o.a.:
Code van de website
Grootte van de afbeeldingen
Data structured MarkUp
Interne- en vooral externe- rel=’nofollow’ links
Wil je een bezoeker wél verwijzen naar een specifieke pagina, maar is die pagina niet interessant voor Google? Hang dan een ‘rel=’nofollow’ label aan deze link. Zo kan de bezoeker gebruik maken van jouw link, maar verspilt Google geen kostbare tijd aan het crawlen van deze pagina.
We hebben je al eerder verteld dat backlinks goed zijn voor de vindbaarheid van een website. Dit komt ook nu weer terug als we het hebben over crawl budgetoptimalisatie.
Wanneer Google een pagina crawlt, leest hij niet alleen de tekst en inhoud op de pagina, maar loopt hij ook alle aanwezige links na. Crawlt Google op dit moment een website waar jouw link op staat? Dan volgt Google deze link tot zijn bestemming: jouw pagina. Zo krijg je meer crawl budget doordat iemand anders naar jou verwijst (mits dit geen ‘nofollow’ link is uiteraard).
Ook interne links helpen Google bij het crawlen. Niet alleen begrijpt Google zo beter de structuur van jouw website, ook loopt hij elk linkje dat hij op jouw pagina vindt na. Heb jij 1 pagina met 4 links? Dan crawlt Google in één keer alle 5 de pagina’s. Dat is toch dikke winst!
Gelukkig hebben de meeste websites geen problemen met een te klein crawl budget. Het verhogen hiervan kost namelijk veel tijd en is geen makkelijke opgave. Merk je dat jouw webshop of website wél last heeft van een beperkt aantal gecrawlde pagina’s? Dan hopen we dat je nu de juiste handvaten hebt om hieraan te werken. Natuurlijk kun je ons altijd om advies vragen als je er niet uit komt.
Ik ben via Google bij Designpro terechtgekomen. Wat direct aansprak was de professionele uitstraling. Na het eerste contact ben ik de samenwerking aangegaan met Designpro, de medewerkers van Designpro denken graag met je mee en ik ben zeer te spreken over de service die Designpro verleent. Er wordt snel geschakeld en mijn wensen worden snel en goed opgepakt. Wat ik ook echt handig vind, is het systeembeheer, de content vullen kan ik zelf waardoor ik niet telkens contact op hoef te nemen met de websitebouwer. Designpro krijgt van mij een dik verdiende 9.
Er bestond al wel een oude website, of eigenlijk slechts een onderdeel van een portal, voor onze mooie camping in Noorwegen. Dit voldeed natuurlijk niet aan onze wensen. We wilden hiervoor dan ook graag een eigen website hebben. Op advies van een bevriende collega kwamen wij bij Designpro uit voor de realisatie van deze website.
Het ontwerp is gebaseerd op een ontwerp van een andere kennis van mij, deze is goed overgenomen en aangevuld waar nodig door Jasper van Designpro. We hebben dan ook veel direct contact gehad met deze Front-end developer, wat leidde tot het huidige resultaat. Onze complimenten over het resultaat. Wij zijn 100% blij! Een 9 is dan ook minimaal ons cijfer.
Wij zijn bij Designpro terecht gekomen omdat wij een lokaal bedrijf zochten met kennis van het inrichten van websites.
Onze opdracht voor Designpro was om een website te bouwen, die modern en slank was. Dat wil zeggen met adequate informatie maar zonder overbodige ballast. Dat is prima gelukt. De website is overzichtelijk en door ons, als relatieve leken, makkelijk te beheren.
De samenwerking met Designpro is prima; de lijntjes zijn kort en er is persoonlijke aandacht over en weer.
Wij bevelen Designpro van harte aan.
Onze website is ontworpen en gerealiseerd door Designpro, de keuze om ook online marketing bij Designpro onder te brengen was snel gemaakt. In onze branche hebben we naam gemaakt, ons doel is dan ook om onze naamsbekendheid in tact te houden. Daarnaast willen we ook goed gevonden worden door particulieren.
Na een start met lager resultaat kunnen we zeggen dat het de goede kant op gaat en we gevonden worden! Designpro heeft zich vanaf dag 1 ingezet voor ons en daar zijn we dan ook heel blij mee. De samenwerking vinden wij nu heel goed tot bijna perfect te noemen. Het valt ons op dat degene die ons bezoekt heel goed bekend is met de materie, en de dienst verleent op uiterst gepaste wijze. Acties die besproken zijn, worden meteen ondernomen en doorgezet. Ga zo door! - Onder druk de Beste!