Haal het meeste uit je crawl budget

Tegenwoordig is het van enorm belang om als onderneming voor een goede online vindbaarheid te zorgen. Als dit niet het geval is kun je namelijk veel potentiële klanten verliezen en dat is natuurlijk zonde. Google indexeert alle webpagina’s die aangemaakt worden.

Het indexeren doet Google door te crawlen op een webpagina. Als er bepaalde storingen zijn die ervoor zorgen dat het crawl proces niet optimaal verloopt dan kan dit van grote invloed zijn op de vindbaarheid van een pagina. Het optimaliseren van het crawl budget van jouw pagina kan in zo’n geval dus goed van pas komen. We hebben een paar tips voor je om je op weg te helpen. 

Wat is een crawl budget?

De term crawl budget wordt eigenlijk veel te weinig gebruikt als het gaat om het optimaliseren van een website. En dit terwijl juist het crawl budget een enorme invloed heeft op de vindbaarheid van een pagina. Je kunt er van uitgaan dat Google vrijwel dagelijks op een paar pagina’s van jouw website crawled. De hoeveelheid aan pagina’s waarop gecrawled wordt noemen we ook wel het crawl budget.

Het crawl budget van een website kan per dag een klein beetje verschillen. Het crawl budget hangt af van verschillende factoren, zo heeft de grootte van een website invloed en bijvoorbeeld het aantal verwijzingen naar een website. Ben je benieuwd naar het crawl budget van jouw website? Dan kun je een kijkje nemen bij Search Console.

Het is altijd goed om te weten wat het crawl budget van jouw website. Met deze informatie kun je namelijk het budget vergelijken met het gemiddelde aantal pagina’s die gecrawled zijn door een Googlebot. Je kunt erachter komen door de volgende zoekopdracht uit te voeren in de zoekmachine:

‘’site:website.nl’’

Zoals de onderstaande afbeelding laat zien, volgt hierop de hoeveelheid aan pagina’s die Google geïndexeerd heeft.

Als jouw crawl budget niet overeenkomt met het gemiddelde dan valt er dus winst te behalen omdat Google de pagina’s niet dagelijks crawled. Zoals eerder vermeld hangt het crawl budget af van meerdere aspecten. Het optimaliseren van deze factoren kan er dan ook voor zorgen dat er dagelijks meer pagina’s door Google gecrawled zullen worden, we noemen dit ook wel crawl budget optimalisatie. 

Crawl budget optimalisatie 

Het optimaliseren van een crawl budget zul je dus in stappen moeten doen. De eerste factor van belang, is de snelheid van een website. Tijdens het crawlen, rendeert Google een pagina gelijktijdig. Als dit proces spoedig verloopt dan kan de Googlebot dus sneller een webpagina crawlen. Dit zorgt ervoor dat websites sneller te vinden zijn in de zoekmachine. 

Naast de snelheid van een webpagina, doen ook de hoeveelheid verwijzingen naar een pagina er toe. Wanneer een website veel inkomende links heeft, zal de Googlebot er langer over doen om de links te verwerken. De hoeveelheid tijd die er wordt gespendeerd op jouw website zal dus snel oplopen. 

Het toepassen van crawl budget optimalisatie 

Je hebt nu dus wat meer inzicht over het crawlbudget van een pagina en de factoren die van invloed zijn op dit budget. Maar hoe kun je ervoor zorgen dat je met deze kennis het crawl budget van jouw pagina kunt optimaliseren?

We hebben natuurlijk een paar tips voor je! Het doel is om zoveel mogelijk organisch verkeer te generen door Google richting bepaalde pagina’s te sturen die al van hogere waarde zijn. Ook kun je ervoor zorgen dat de pagina’s die minder van belang zijn niet onnodig geïndexeerd worden. 

1. Denk goed na over filters

Als je een website aanmaakt is het voor de gebruiksvriendelijkheid bevorderlijk om duidelijke categorieën op te stellen. Dit kun je doen met behulp van filters. Deze filters zorgen ervoor dat er veel verschillende URL’s gegenereerd worden.

Filters kunnen ook met elkaar gecombineerd worden en zo ontstaan er nog meer URL’s. Het laden van een filter gebeurd vaak achter een parameter, het kan soms zo zijn dat een parameter als niet relevant genoeg geacht wordt door Google. Als dit gebeurd zal er dus ook niet door Google gecrawled worden. Om je een beter beeld te geven hier een paar voorbeelden.

Prijs 

Als je een e-commerce website bezoekt en je wilt iets kopen kun je zoeken op een prijscategorie. Dit is natuurlijk heel handig voor een bezoeker, maar dit zorgt wel voor veel extra URL’s. Als je het assortiment verdeelt in acht prijs categorieën dan zullen er ook acht verschillende URL’s aangemaakt worden die voor een Googlebot eigenlijk helemaal niet zo interessant zijn. 

Website.nl/sale?price=20-50

Website.nl/sale?price=100-150

Zoekresultaten

Ook een interne zoekfunctie op een website kan ervoor zorgen dat veel URL’s gecreëerd worden die niet relevant zijn. Deze pagina’s kunnen het beste niet geïndexeerd worden want dit zal niets toevoegen. Daarnaast is er een grote kans dat deze zoekopdrachten niet overeenkomen met de categoriepagina’s op en een website. 

Hoeveel schade kunnen deze bovenstaande URL’s nou aanrichten zou je denken. Er zal namelijk maar een aantal URL’s gegenereerd kunnen worden. Toch is het allemaal niet zo simpel als het lijkt. Hier laten we je een voorbeeld zien van onze crawl budget optimalisatie strategie toegepast op een van onze klanten.

Dit voorbeeld laat zien dat door middel van het inzetten van een zoekfunctie op een website er enorm veel pagina’s geïndexeerd werden die eigenlijk helemaal geen invloed hadden. Door het uitsluiten van deze pagina’s is de focus meer gericht op de pagina’s die wel de aandacht horen te krijgen.

Dit kan zelfs invloed hebben op jouw positie in de ranking van Google omdat er meer tijd door de Googlebot doorgebracht wordt op de belangrijkste pagina’s. Er zijn een paar benaderingen waarop de URL’s die ontstaan naar aanleiding van een filter uitgesloten kunnen worden. De eerste manier is door in de robots.txt de volgende tekst in te voeren: disallow: ?search

Simpel gezegd, is de opdracht in dit geval dat een Googlebot de URL’s waar ?search in voorkomt moet overslaan. Toch is hiermee het grootste probleem nog niet opgelost, de URL’s zul je namelijk nog in de zoekresultaten naar voren zien komen.

Als je eerst een noindex regel toevoegt en in de regel erna een disallow plaatst dan is dit probleem opgelost. Of je kunt er voor kiezen om een nofollow toe te passen op een URL van een filter, de pagina’s met deze tag worden dan dus ook niet gecrawled.

2. Voorkom duplicate content

Iets wat ook van grote invloed is, is het ontstaan van duplicate content. Dit betekent dat er pagina’s bestaan waarop vrijwel precies gelijke content staat als op een andere pagina. Er zijn een paar soorten duplicate content, we zullen een van de meest voorkomende soorten met je bespreken. Deze vorm van duplicate content zien we vooral veel ontstaan bij webshops. 

Als je bijvoorbeeld schoenen wilt kopen, dan zijn er meerdere categorieën die naar een bepaald paar schoenen leiden. Al deze categorieën bezitten dus allemaal een eigen URL. Er ontstaat dus duplicate content omdat meerdere URL’s over precies dezelfde informatie beschikken. 

Website.nl/heren-schoenen/schoencode

Website.nl/sneaker-schoenen/schoencode 

Ook hier wordt vaak onderschat hoeveel extra URL’s er ontstaan en in dit geval ontstaat er dus ook nog duplicate content. Google zal er dus qua tijd het dubbele over doen om door alle pagina’s te crawlen. Natuurlijk hebben we ook een trucje voor je om erachter te komen of je producten via twee verschillende URL’s aanbied voer de volgende zoekterm uit: 

Site:webshop.nl ‘’productnaam’’

Als er dus meer dan één URL tevoorschijn komt dan weet je wat je te doen staat! 

3. Voorkom 404’s en redirects 

Het onderhouden van een website is erg belangrijk. Het is voor een bezoeker van een website erg vervelend als er een 404-pagina te voorschijn komt. Dit wordt dus ook door de Googlebot als minpunt ervaren, het gebruik hiervan zal dus ook niet ten goede komen van het crawl budget.

Wil je weten of je op jouw website ook 404’s hebt? Je kunt dan wederom gebruik maken van de Search Console. Als je kijkt bij het onderwerp ‘crawlen’ en je dan op het kopje ‘crawlfouten’ klikt, dan kun je onder ‘niet gevonden’ de 404’s vinden. Er zijn twee manieren om de 404’s te verhelpen.

Ten eerste, zou je de interne link kunnen aanpassen naar die van een werkende pagina. Ons advies is dan ook om voor deze optie te kiezen als dat mogelijk is. De tweede optie is namelijk om een 301 redirect in te zetten. Beide opties hebben dezelfde uitkomst. Toch raden we je aan om het gebruik van interne redirects zoveel mogelijk te vermijden. Zo voorkom je dat de Googlebot een langere laadtijd ervaart op een pagina.

Je zult over het algemeen erg moeten oppassen met het inzetten van redirects. Je wilt natuurlijk niet dat er een redirect chain ontstaat. Redirects die aan elkaar gelinkt zijn kunnen van negatieve invloed zijn op een crawl budget. Hier een voorbeeld van een redirect chain:

4. Observeer server logs 

Een van de beste tactieken om het crawl budget te onderzoeken is door middel van een server log analyse. In deze analyse kom je erachter of de juiste pagina’s worden bezocht door de Googlebot. Dit heeft weer te maken met de relevantie van een pagina. 

Je kunt het beste een programma gebruiken als Screaming Frog. Als je dit soort tools inzet krijg je een beknopte samenvatting met alle informatie die er toe doet wat betreft server logs. Je kunt bijvoorbeeld zien welke user agent gecrawled heeft, ook kun je de statuscode, responsetime, het aantal crawls en de hoeveelheid aan gedownloade bytes achterhalen. 

Het uitvoeren van een serverlog analyse is niet eenvoudig en het kan dat ook even duren voordat je het onder de knie krijgt. Toch kan het investeren van tijd zeker baten. Je kunt zo veel informatie verzamelen over alle bots die op jouw pagina’s crawlen.

Aan de slag! 

Nu je meer weet over het crawl budget van een website en het optimaliseren ervan kun je zelf aan de slag! Niet alleen kun je met het toepassen van deze tips zorgen voor een optimaal crawl budget, de toepassingen zullen er ook voor zorgen dat jouw website als gebruiksvriendelijker worden ervaren. Wie wil nou geen snelle laadtijd van een pagina en duidelijke navigatie links. Ook het investeren in verwijzingen naar jouw pagina zal jouw website ten goede komen.