Meer crawl budget, jouw website sneller door Google laten indexeren: 6 factoren die jij kunt optimaliseren
Een beperkt crawl budget hoort, gelukkig, niet tot de meest voorkomende SEO-problemen. Maar is dit hét probleem van jouw website? Dan moet je nú hard aan de bak om dit op te lossen. Wij vertellen je graag hoe.
Wat is een crawl budget?
Iedere website heeft een crawl budget, maar wat is dat? Een crawl budget is het aantal pagina’s van jouw website die Google dagelijks crawlt. Crawlen is het uitlezen van een webpagina door Google. Op basis van de info die Google hierbij vindt, indexeert hij jouw pagina voor de Google zoekresultaten.
Het crawl budget kan per website en per dag verschillen. Als website-eigenaar wil je natuurlijk dat dit budget zo hoog mogelijk is. Hoe meer pagina’s Google dagelijks crawlt, hoe meer kans jij hebt dat jouw aanpassingen en nieuwe producten worden opgenomen in de Google zoekresultaten.
Wat bepaalt jouw crawl budget?
Hoeveel crawl budget jouw website heeft, hangt van vele factoren af. De exacte lijst van factoren is voor iedereen die geen Googlebot heet, een groot mysterie. Echter is het wel duidelijk geworden dat de volgende factoren een substantieel aandeel hebben in dit budget:
Grootte van de website
Aantal links naar de website
Autoriteit van de website
Snelheid van website
Hoeveelheid errors/ 404s op de website
Is het crawl budget een probleem voor jouw website?
Of jouw website leidt onder een beperkt crawl budget, kun je bepalen door te kijken naar de verhouding tussen het totaal aantal pagina’s van jouw site én het gemiddeld aantal pagina’s dat Google dagelijks crawlt.
Het totaal aantal pagina’s vind je door in te loggen via Google Search Console > Dekking > Geldige pagina’s te bekijken.
Via deze tool van (het oude) Search Console kun je zien hoeveel van jouw pagina’s dagelijks worden gecrawld.
Voorbeeld:
Wanneer je bijvoorbeeld 10.000 pagina’s hebt en er worden er dagelijks 400 gecrawld, dan duurt het heel lang voordat jouw hele website is gecrawld. Google neemt belangrijke pagina’s, zoals de homepagina, namelijk vaker mee dan andere pagina’s.
In dit geval, waarbij we even uitsluiten dat pagina’s in deze periode dubbel worden gecrawld, duurt het dus minimaal 10.000/400= 25 dagen voordat de hele website is nagelopen.
Als jij een nieuw product aan de webshop toevoegt, kan het meer dan 25 dagen duren, voordat dit product wordt opgepikt door Google.
Maak je deze berekening (totaal aantal pagina’s/ gemiddeld aantal dagelijks gecrawlde pagina’s) en kom je uit op minder dan 10 dagen, dan is er niks mis met jouw crawl budget. Heeft Google meer dan 10 dagen nodig om jouw website na te lopen? Lees dan verder voor onze tips.
Grote websites en dynamische webshops
De meeste websites hebben geen last van een te klein crawl budget en hoeven hiervoor dus niet te optimaliseren. Grote websites en webshops hebben hier helaas vaak wel last van. Net als extreem dynamische websites. Als producten slechts een korte periode in de webshop te vinden zijn, waarna ze worden verwijderd, dienen deze URL’s geredirect (een andere bestemming te krijgen) te worden. Door dit regelmatig te doen ontstaan er veel verwijzingslijsten.
In dit geval moet Google veel meer pagina’s nalezen en door lange lijsten vol redirects rennen om tot één bestemming te komen. Deze zaken kosten tijd. En dus is het voor bijvoorbeeld webshops met heel veel producten zaak om het budget dat ze hebben zo efficiënt mogelijk in te zetten.
Hoe verhoog je het crawl budget van jouw website?
Je kunt crawl budget zien als een bepaalde tijd die Google dagelijks aan jouw website spendeert. Je wil deze tijd optimaal benutten en dus moet jouw website zo snel mogelijk zijn, geen doodlopende URL’s bevatten en moet je Googlebot vertellen welke pagina’s hij wél en vooral welke hij niet mag indexeren.
Dubbele content
Dubbele content is voor online vindbaarheid uit den boze. Wanneer dezelfde inhoud zich op 2 verschillende URL’s bevindt, spreken we van dubbele content. Waarom is dit zo slecht voor jouw crawl budget? Google moet nu 2 URL’s crawlen om dezelfde content uit te lezen. De tijd die hij aan de 2de URL besteedt, kan hij beter investeren in andere mooie pagina’s van jouw website. Zeker wanneer dit bij 100 producten het geval is, verlies je veel kostbare crawltijd.
Vaak komt dubbele content voor in een webshop met een inefficiënte structuur. Zo vind je één product in meerdere categorieën en dus onder meerdere URL’s. Structureer jouw webshop dus op een juiste manier om te voorkomen dat je dubbele content creëert.
Productfilters met eigen URL’s
Heeft jouw webshop een filtermogelijkheid? Daarmee help je jouw klanten aanzienlijk! Ze kunnen filteren op kleur, prijs, materiaal en meer. Elke filter levert een nieuwe URL op. Maar of je nu alle mogelijke filter URL’s wilt laten indexeren? Dat kost veel tijd/ crawl budget. Het is dan ook belangrijk om de balans te vinden tussen URL's met filters die je wél en niet laat indexeren. Merk je bijvoorbeeld dat jouw crawl budget beperkt is, dan is dat misschien het moment om te kijken welke filterpagina's niet worden gebruikt en deze uit te sluiten van indexering.
Je kunt deze filter URL’s uitsluiten van crawlen door een Disallow regel toe te voegen aan jouw robots.txt bestand (hiermee geef je aan dat Google deze pagina’s niet mag crawlen). Dit geldt natuurlijk ook voor andere irrelevante pagina’s die je niet door Google wilt laten crawlen. Denk aan bedankt- of inlogpagina’s. Vraag eventueel jouw webbouwer om dit voor je te doen.
404-pagina’s ofwel doodlopende URL’s
404’s zijn eigenlijk doodlopende URL’s. Ze ontstaan bijvoorbeeld wanneer een artikel in een webshop is verplaatst of een pagina is verwijderd. Hoe meer 404’s jouw website heeft, hoe ongezonder en minder sterk de website is in de ogen van Google. Immers belemmeren 404-pagina’s ook het gebruiksgemak van jouw bezoekers.
Daarbij kost het Google meer tijd om deze links na te lopen. Ook moet Google om één pagina te crawlen langs 2, 3 of meer URL’s die continue worden doorverwezen.
Verminder het aantal 404’s door deze permanent door te verwijzen naar relevante wél bestaande pagina’s of vervang de bestemming van interne links en buttons op jouw website direct door de juiste bestemming.
Onvoldoende snelheid
Een logische factor die jouw crawl budget beïnvloedt, is de snelheid van jouw website. Hoe sneller jouw pagina laadt, hoe sneller Google deze kan crawlen en door kan naar de volgende pagina. Is jouw website te traag? Dan kost het Google meer tijd om de pagina te crawlen en te indexeren en kan hij vandaag minder van jouw pagina’s uitlezen.
De snelheid van jouw website is afhankelijk van o.a.:
Code van de website
Grootte van de afbeeldingen
Data structured MarkUp
Interne- en vooral externe- rel=’nofollow’ links
Wil je een bezoeker wél verwijzen naar een specifieke pagina, maar is die pagina niet interessant voor Google? Hang dan een ‘rel=’nofollow’ label aan deze link. Zo kan de bezoeker gebruik maken van jouw link, maar verspilt Google geen kostbare tijd aan het crawlen van deze pagina.
Wanneer Google een pagina crawlt, leest hij niet alleen de tekst en inhoud op de pagina, maar loopt hij ook alle aanwezige links na. Crawlt Google op dit moment een website waar jouw link op staat? Dan volgt Google deze link tot zijn bestemming: jouw pagina. Zo krijg je meer crawl budget doordat iemand anders naar jou verwijst (mits dit geen ‘nofollow’ link is uiteraard).
Ook interne links helpen Google bij het crawlen. Niet alleen begrijpt Google zo beter de structuur van jouw website, ook loopt hij elk linkje dat hij op jouw pagina vindt na. Heb jij 1 pagina met 4 links? Dan crawlt Google in één keer alle 5 de pagina’s. Dat is toch dikke winst!
Aan de bak voor een hoger crawlbudget
Gelukkig hebben de meeste websites geen problemen met een te klein crawl budget. Het verhogen hiervan kost namelijk veel tijd en is geen makkelijke opgave. Merk je dat jouw webshop of website wél last heeft van een beperkt aantal gecrawlde pagina’s? Dan hopen we dat je nu de juiste handvaten hebt om hieraan te werken. Natuurlijk kun je ons altijd om advies vragen als je er niet uit komt.
Ik ben via Google bij Designpro terechtgekomen. Wat direct aansprak was de professionele uitstraling. Na het eerste contact ben ik de samenwerking aangegaan met Designpro, de medewerkers van Designpro denken graag met je mee en ik ben zeer te spreken over de service die Designpro verleent. Er wordt snel geschakeld en mijn wensen worden snel en goed opgepakt. Wat ik ook echt handig vind, is het systeembeheer, de content vullen kan ik zelf waardoor ik niet telkens contact op hoef te nemen met de websitebouwer. Designpro krijgt van mij een dik verdiende 9.
Er bestond al wel een oude website, of eigenlijk slechts een onderdeel van een portal, voor onze mooie camping in Noorwegen. Dit voldeed natuurlijk niet aan onze wensen. We wilden hiervoor dan ook graag een eigen website hebben. Op advies van een bevriende collega kwamen wij bij Designpro uit voor de realisatie van deze website.
Het ontwerp is gebaseerd op een ontwerp van een andere kennis van mij, deze is goed overgenomen en aangevuld waar nodig door Jasper van Designpro. We hebben dan ook veel direct contact gehad met deze Front-end developer, wat leidde tot het huidige resultaat. Onze complimenten over het resultaat. Wij zijn 100% blij! Een 9 is dan ook minimaal ons cijfer.
Wij zijn bij Designpro terecht gekomen omdat wij een lokaal bedrijf zochten met kennis van het inrichten van websites.
Onze opdracht voor Designpro was om een website te bouwen, die modern en slank was. Dat wil zeggen met adequate informatie maar zonder overbodige ballast. Dat is prima gelukt. De website is overzichtelijk en door ons, als relatieve leken, makkelijk te beheren.
De samenwerking met Designpro is prima; de lijntjes zijn kort en er is persoonlijke aandacht over en weer.
Onze website is ontworpen en gerealiseerd door Designpro, de keuze om ook online marketing bij Designpro onder te brengen was snel gemaakt. In onze branche hebben we naam gemaakt, ons doel is dan ook om onze naamsbekendheid in tact te houden. Daarnaast willen we ook goed gevonden worden door particulieren.
Na een start met lager resultaat kunnen we zeggen dat het de goede kant op gaat en we gevonden worden! Designpro heeft zich vanaf dag 1 ingezet voor ons en daar zijn we dan ook heel blij mee. De samenwerking vinden wij nu heel goed tot bijna perfect te noemen. Het valt ons op dat degene die ons bezoekt heel goed bekend is met de materie, en de dienst verleent op uiterst gepaste wijze. Acties die besproken zijn, worden meteen ondernomen en doorgezet. Ga zo door! - Onder druk de Beste!
We zijn al enkele jaren klant bij Designpro, kortgeleden hebben we besloten om een nieuwe website te laten bouwen. Uiteraard kozen we weer voor Designpro.
De medewerkers van Designpro denken graag met je mee en ik ben zeer te spreken over de service die Designpro verleent. Er wordt snel geschakeld en mijn wensen worden snel en goed opgepakt. Designpro krijgt van mij een dik verdiende 9
Ik was op zoek naar een goed bedrijf dat mij kon helpen om hoger in de zoekresultaten van Google te komen en mijn website beter vindbaar te maken. Na wat zoeken op Google heb ik Designpro gevonden. Via mijn website wil ik graag meer omzet genereren en nieuwe klanten aan mijn bedrijf binden. Ik ben zeer tevreden over de resultaten tot nu toe. Ik sta bovenaan de zoekresultaten van Google en heb al een nieuwe klant. Daarnaast is de service van Designpro snel en ze bieden goede hulp. Ik heeft Designpro een 9.
Meedenken is een sleutelwoord voor deze onderneming, door mee te denken en snel te handelen, zijn mijn problemen snel opgelost. Ik vind dit erg prettig en geef Designpro dan ook een 9!
Voorheen adverteerden wij in plaatselijke krantjes, maar dat leverde weinig op. Sinds de nieuwe website, zijn we goed vindbaar en zien we ons klantenbestand groeien. Over de resultaten maar ook de samenwerking zijn wij dan ook erg tevreden! Designpro verdient volgens ons een 9!
Wij kunnen kort zijn over het resultaat dat Designpro leverde: wij zijn zeer tevreden.
De keuze voor een webbouwer viel op Designpro dankzij de juiste prijs-kwaliteitsverhouding die zich zeker heeft uitbetaald. Zowel de service als het resultaat zijn goed en naar wens!
Wij zijn al héél lang klant bij Designpro, misschien wel al 20 jaar! Dat wij zolang klant zijn komt door de goede service (waaronder 5daagse supportlijn) en het juiste advies dat wij krijgen van Designpro. Wij kunnen ook niet anders dan Designpro een 9,5 geven!
Op advies van een bevriende collega kwamen wij bij Designpro uit voor de realisatie van deze website.
Onze complimenten over het resultaat. Wij zijn 100% blij! Een 9 is dan ook minimaal ons cijfer.
Wij hebben voor Designpro gekozen, nadat een onderzoek waarin wij diversen leveranciers beoordeeld hebben. Dit komt door de no-nonsense aanpak die Johan hierin gebruikt, dat spreekt ons enorm aan.
Ik heb voor Designpro gekozen als online marketingpartij omdat een relatie dit team toentertijd aanraadde. Als gevolg van dit advies is mijn website tegenwoordig goed vindbaar. De communicatie is prettig en ik zie de resultaten terug. - R. Hariman
Het persoonlijk contact en de goede service was voor ons doorslaggevend. Ze hebben goed naar onze wensen geluisterd en dit omgezet naar een goedwerkende site die gevonden wordt op het internet. Dat is voor ons belangrijk omdat we niet alleen in Schoonhoven werken maar in heel de Randstad.
Ik kreeg vanuit Designpro een belletje om samen in gesprek te gaan betreffende de vernieuwing van mijn website. Het was tijd om vooruit te gaan met de website: een SSL-verbinding, responsive en een nieuwe look.
Het was voor ons vanzelfsprekend om bij een nieuwe website te kiezen voor Designpro. Onze vorige website hebben wij ook door dit team laten maken. Daar wij tevreden waren met de dienst, was het een logische stap voor ons om ook deze website door Designpro te laten ontwerpen en realiseren.
Onze vorige website was verouderd en dus was het tijd om deze eens te vernieuwen. Onze, op dat moment, huidige host kwam met een buitensporige prijs waardoor wij verder zijn gaan kijken.
Onze opdracht aan Designpro was om een website te bouwen die modern en slank was. Dat wil zeggen met adequate informatie maar zonder overbodige ballast. Dat is prima gelukt. De website is overzichtelijk en door ons, al relatieve leken, makkelijk te beheren.
Wij kozen voor Designpro als websiteontwikkelaar na een vergelijking met meerdere partijen. De proefwebsite van Designpro zag er het beste uit, onze vragen werden snel beantwoord en het bureau is bij ons in de buurt gevestigd.
Onze website is ontworpen en gerealiseerd door Designpro, de keuze om ook online marketing bij Designpro onder te brengen was snel gemaakt. In onze branche hebben we naam gemaakt, ons doel is dan ook om onze naamsbekendheid in tact te houden. Daarnaast willen we ook goed gevonden worden door particulieren.
Gebaseerd op de tevreden resultaten die wij in het verleden behaalden met Designpro, hebben wij besloten ook onze nieuwe website te laten bouwen door dit bedrijf. Onze vorige website was dusdanig verouderd dat deze wel toe was aan een update. Dit ging vooral om het design, qua inhoud is er weinig veranderd.
Wij gebruiken cookies om inhoud en advertenties te personaliseren, om social media mogelijkheden aan te bieden en om het verkeer naar de website te analyseren. U stemt in met onze cookies als u doorgaat met het gebruik van onze website. Bekijk onze cookieverklaring.
.png "Kennisbank_designpro_-trends-onlinemarketing-2 (1)")
