Crawlers: optimaliseer je website vindbaarheid

Hoe ontdekken crawlers de pagina’s van jouw website? Ze beginnen vaak bij bekende webadressen en volgen links naar andere pagina’s. Hier lees je hoe dat werkt voor jouw B2B-website: van het ontdekken van content tot het beheren van de toegang voor zoekbots. Daarna lees je hoe je jouw website voor crawlers optimaliseert.

Wat zijn crawlers precies?

Crawlers zijn geautomatiseerde programma’s, ook wel bots genoemd. Zoekmachines zoals Google en Bing gebruiken ze om het internet systematisch te doorzoeken.

Hun taken zijn:

• Webpagina’s ontdekken.
• De inhoud analyseren.
• Deze informatie doorgeven aan de zoekmachine.

Digitale verkenners van het web

Zie crawlers als onvermoeibare digitale verkenners. Ze beginnen vaak met een lijst van bekende webadressen (URL’s). Vervolgens volgen ze de links op die pagina’s om nieuwe pagina’s te ontdekken.

Zo brengen ze het web pagina voor pagina en link voor link in kaart. Ze verzamelen informatie over de tekst, afbeeldingen, links en andere onderdelen van een pagina.

Synoniemen: spiders, bots en webcrawlers

Je komt verschillende namen tegen voor deze programma’s: crawlers, spiders, webcrawlers of gewoon bots.

Hoe werken web spiders?

Het proces waarmee crawlers het web doorzoeken, lijkt misschien complex, maar het volgt een aantal logische stappen. Laten we eens kijken hoe deze web spiders te werk gaan.

Het startpunt: URL’s ontdekken

Alles begint met een lijst van webadressen, de zogenaamde ‘seed URLs’. Dit zijn vaak URL’s van websites die al bekend zijn bij de zoekmachine of die via sitemaps zijn aangeleverd. Vanuit dit startpunt beginnen de crawlers hun reis.

Het volgen van links: het web navigeren

Eenmaal op een webpagina, scannen crawlers de inhoud en identificeren ze alle links naar andere pagina’s, zowel binnen dezelfde website (interne links) als naar andere websites (externe links). 

Ze volgen deze links om nieuwe, nog onbekende pagina’s te ontdekken. Dit proces herhaalt zich continu, waardoor de crawler steeds dieper het web in navigeert.

Data verzamelen en verwerken

Tijdens het bezoeken van een pagina verzamelen crawlers allerlei data. Denk aan de tekstuele inhoud, de HTML-code, afbeeldingen, video’s, de links op de pagina en metadata zoals paginatitels en beschrijvingen. Deze verzamelde informatie wordt vervolgens verwerkt en voorbereid om te worden opgenomen in de index van de zoekmachine.

De rol van algoritmes

Zoekmachines gebruiken complexe algoritmes om te bepalen welke websites en pagina’s gecrawld moeten worden, hoe vaak dit moet gebeuren en hoeveel middelen (het ‘crawl budget’) hieraan besteed worden. Factoren zoals de populariteit van een site, hoe vaak de inhoud verandert en de algehele kwaliteit spelen hierbij een rol.

Waarom zijn crawlers belangrijk voor jouw SEO?

Je weet nu wat crawlers zijn en hoe ze werken. Waarom zijn ze belangrijk voor jouw B2B-bedrijf en je SEO-strategie?

Zichtbaarheid in zoekmachines

Crawlers ontdekken webpagina’s, analyseren de inhoud en geven deze informatie door aan de zoekmachine.

De basis voor indexering

Bij indexering wordt een pagina opgenomen in de grote database van de zoekmachine.

Impact op je ranking

Hoe past het verbeteren van je website voor crawlers in jouw SEO-aanpak?

Het verband tussen SEO en crawlers begrijpen

Effectieve SEO draait vooral om het verbeteren van je website voor zowel gebruikers als crawlers. Met goede SEO-marketing help je crawlers om je site efficiënter te doorzoeken en beter te begrijpen. Dat doe je met duidelijke content, een heldere sitestructuur en goede technische prestaties.

Beheer de toegang van zoekbots tot je website

Gelukkig heb je als website-eigenaar controle over hoe zoekbots met jouw site omgaan. Je kunt ze instructies geven en de toegang tot bepaalde delen sturen. Dit doe je voornamelijk via het robots.txt-bestand en meta-tags.

Robots.txt: de spelregels voor crawlers instellen

Het robots.txt-bestand is een eenvoudig tekstbestand dat je in de hoofdmap (root directory) van je website plaatst. Hierin geef je instructies aan crawlers over welke delen van je website ze wel of niet mogen bezoeken.

Het is een soort gids voor de bots. Je kunt bijvoorbeeld aangeven dat ze bepaalde mappen, bestanden of specifieke pagina’s moeten negeren. Dit is handig voor pagina’s die je niet in de zoekresultaten wilt hebben, zoals interne zoekresultaten, winkelmandjes of bedankpagina’s.

Meta-tags gebruiken om instructies te geven

Naast robots.txt kun je ook op paginaniveau instructies geven via meta-robots tags in de <head> sectie van je HTML. Hiermee kun je specifieker zijn over hoe een individuele pagina behandeld moet worden.

De ‘noindex’ waarde

Met de noindex tag geef je aan dat een specifieke pagina wel gecrawld mag worden, maar niet opgenomen mag worden in de index van de zoekmachine. De pagina zal dus niet verschijnen in de zoekresultaten. Dit is nuttig voor bijvoorbeeld bedankpagina’s na een formulierinzending of interne archiefpagina’s.

Voorbeeld: <meta name="robots" content="noindex">

De ‘nofollow’ waarde

De nofollow tag instrueert crawlers om de links op de betreffende pagina niet te volgen. Dit betekent dat de ‘waarde’ of ‘autoriteit’ van de pagina niet wordt doorgegeven aan de gelinkte pagina’s. Dit wordt soms gebruikt voor links in reacties of user-generated content om spam tegen te gaan of voor betaalde links.

Voorbeeld: <meta name="robots" content="nofollow">

Je kunt deze waarden ook combineren: <meta name="robots" content="noindex, nofollow">

Sitemaps: de routekaart voor zoekmachines

Een XML-sitemap is een bestand waarin je alle belangrijke URL’s van je website opsomt. Het fungeert als een routekaart voor zoekmachines.

Een sitemap helpt crawlers om de structuur van je site te begrijpen en ervoor te zorgen dat alle relevante pagina’s ontdekt en gecrawld worden, vooral pagina’s die misschien moeilijk te vinden zijn via de normale linkstructuur.

Het indienen van een sitemap via tools zoals Google Search Console is een goede manier om het crawlproces te ondersteunen en te versnellen. Het helpt zoekmachines om je content sneller op te pikken, wat bijdraagt aan een vlotte indexering van je website in Google.

Optimaliseer je website voor zoekbots

Nu je weet hoe je de toegang van zoekbots kunt beheren, is de volgende stap je website zo inrichten dat deze bots hun werk zo efficiënt en effectief mogelijk kunnen doen. Dit noemen we het optimaliseren voor zoekbots.

Crawlbudget optimalisatie

Zoekmachines wijzen een beperkte hoeveelheid middelen toe aan het crawlen van jouw website, dit heet het ‘crawl budget’. Vooral bij grote websites met duizenden pagina’s is het belangrijk dat dit budget efficiënt wordt besteed aan je belangrijkste content.

Het crawl budget wordt bepaald door factoren zoals de grootte van je site, de gezondheid (hoeveel fouten?) en de populariteit (hoeveel links?). Je kunt het budget optimaliseren door:

• 404-fouten oplossen: Zorg dat bots geen tijd verspillen aan niet-bestaande pagina’s.
• Duplicate content vermijden: Voorkom dat bots dezelfde inhoud op meerdere URL’s moeten crawlen. Gebruik canonical tags correct.
• Laadsnelheid verbeteren: Snellere pagina’s kunnen sneller gecrawld worden.
• Redirects minimaliseren: Te veel redirects kunnen het crawlproces vertragen.
• Onbelangrijke pagina’s blokkeren: Gebruik robots.txt om pagina’s uit te sluiten die geen waarde toevoegen aan de zoekresultaten.

Zorg voor een duidelijke sitestructuur

Een logische, hiërarchische sitestructuur maakt het voor crawlers (en gebruikers!) makkelijker om door je website te navigeren en de relatie tussen verschillende pagina’s te begrijpen. Zorg voor een duidelijke hoofdnavigatie en categorisering.

Een goede structuur helpt crawlers om alle belangrijke pagina’s te vinden zonder te verdwalen. Denk na over hoe je content logisch gegroepeerd kan worden. Een heldere URL-structuur is hierbij ook van belang.

Interne linking strategieën

Interne links zijn links van de ene pagina op je website naar een andere pagina op dezelfde website. Ze zijn cruciaal voor crawlers:

• Ontdekking: Ze helpen bots om nieuwe of dieper gelegen pagina’s te vinden.
• Context: Ze geven context over de inhoud van de gelinkte pagina.
• Waarde: Ze verspreiden ‘link equity’ of autoriteit door je website.

Zorg voor relevante interne links vanuit je bodytekst en gebruik beschrijvende ankerteksten. Een sterke interne linkstructuur is een kernonderdeel van effectieve on-page SEO.

Verbeter de laadsnelheid van je pagina’s

Een snelle website is niet alleen fijn voor je bezoekers, maar ook voor crawlers. Pagina’s die snel laden, kunnen efficiënter worden gecrawld, wat betekent dat zoekbots meer pagina’s kunnen bezoeken binnen hun toegewezen crawl budget. 

Optimaliseer afbeeldingen, maak gebruik van browsercaching en minimaliseer code om de laadtijd te verkorten.

Bekende zoekbots: Googlebot en Bingbot

Hoewel er veel verschillende crawlers actief zijn op het web, zijn er twee die voor de meeste websites het belangrijkst zijn: Googlebot en Bingbot.

Googlebot

Googlebot is de webcrawler van Google. Het is eigenlijk een verzamelnaam voor verschillende crawlers die Google gebruikt. Er is een versie die websites bekijkt zoals een desktopgebruiker dat zou doen en een versie die simuleert hoe een mobiele gebruiker de site ziet (Googlebot Smartphone). 

Aangezien Google voornamelijk ‘mobile-first’ indexeert, is de mobiele crawler tegenwoordig het belangrijkst. Googlebot is verantwoordelijk voor het verzamelen van de informatie die Google gebruikt om zijn zoekresultaten samen te stellen.

Bingbot

Bingbot is de crawler van Microsoft’s zoekmachine Bing. Net als Googlebot doorzoekt Bingbot het web om pagina’s te ontdekken en te indexeren voor de Bing zoekresultaten. 

Hoewel Google een groter marktaandeel heeft, is het optimaliseren voor Bingbot nog steeds relevant, aangezien Bing een aanzienlijk aantal zoekopdrachten verwerkt, vooral via Microsoft-producten.

Andere relevante zoekbots

Naast Googlebot en Bingbot zijn er nog andere crawlers die je website kunnen bezoeken:

• DuckDuckBot: De crawler voor de privacygerichte zoekmachine DuckDuckGo.
• YandexBot: De crawler van de Russische zoekmachine Yandex.
• Baiduspider: De crawler van de Chinese zoekmachine Baidu.
• Bots van SEO tools: Tools zoals Ahrefs, SEMrush en Moz hebben hun eigen crawlers (bijv. AhrefsBot, SemrushBot) om het web te analyseren voor hun datasets.
• Social media bots: Platforms zoals Facebook en Twitter gebruiken bots om previews van gedeelde links te genereren.

Je kunt in je server logs zien welke bots je site bezoeken.

Tools en technieken voor crawl analyse

Hoe weet je nu of crawlers je website goed kunnen bezoeken en begrijpen? Gelukkig zijn er tools en technieken beschikbaar om dit te analyseren.

Gebruik Google Search Console voor inzichten 

Google Search Console (GSC) is een gratis tool van Google die onmisbaar is voor elke website-eigenaar. Het biedt waardevolle inzichten in hoe Google jouw website ziet en crawlt.

Binnen GSC vind je specifieke rapporten over de indexeringsstatus. Het ‘Pagina’s’ rapport (voorheen ‘Dekking’) laat zien welke pagina’s succesvol geïndexeerd zijn, welke pagina’s problemen ondervonden tijdens het crawlen of indexeren en waarom. Je kunt hier fouten zoals 404’s, serverfouten of problemen met robots.txt identificeren.

Daarnaast biedt het ‘Crawlstatistieken’ rapport gedetailleerde informatie over de crawl-activiteit van Googlebot op je site. Je ziet hoe vaak je site wordt gecrawld, hoeveel data er wordt gedownload en wat de gemiddelde reactietijd is. Dit helpt je om de crawl-efficiëntie te monitoren en eventuele knelpunten op te sporen.

SEO-tools voor crawl analyse

Naast GSC zijn er diverse commerciële SEO-tools die je website kunnen crawlen op een manier die vergelijkbaar is met hoe zoekmachinebots dat doen. Populaire voorbeelden zijn Screaming Frog SEO Spider, Ahrefs Site Audit, SEMrush Site Audit en Moz Pro.

Deze tools simuleren een crawl van je website en identificeren technische problemen zoals:

• Gebroken links (404-fouten)
• Redirect-ketens
• Problemen met paginatitels en meta-beschrijvingen
• Duplicate content
• Te grote afbeeldingen
• Problemen met canonical tags of robots.txt

Door deze tools regelmatig te gebruiken, kun je proactief technische SEO-problemen opsporen en oplossen die de crawlbaarheid en indexeerbaarheid van je site kunnen beïnvloeden.

Hoe kun je zien hoe websites gecrawld worden? 

Een meer technische manier om te zien hoe bots (inclusief crawlers van zoekmachines) je website bezoeken, is door je server logs te analyseren. Server logs registreren elk verzoek dat aan de server van je website wordt gedaan, inclusief verzoeken van crawlers.

Door de logs te analyseren, kun je precies zien:

• Welke bots je site bezoeken (identificatie via user-agent).
• Hoe vaak ze langskomen.
• Welke pagina’s ze opvragen.
• Welke statuscodes ze ontvangen (bijv. 200 OK, 404 Not Found, 500 Server Error).
• Hoeveel crawl budget wordt besteed aan verschillende secties.

Log file analyse kan complex zijn, maar het biedt de meest gedetailleerde informatie over de interactie tussen bots en je server. Er zijn gespecialiseerde tools beschikbaar om dit proces te vergemakkelijken.

Zet zoekmachine optimalisatie in voor jouw online groei

Je weet nu wat webcrawlers zijn, hoe ze werken en waarom ze belangrijk zijn voor je online zichtbaarheid. Ook weet je met welke tools je hun activiteit kunt volgen.

Wat zijn de belangrijkste punten? Zorg dat je website technisch toegankelijk is met een correct robots.txt-bestand en een sitemap. Benut je crawlbudget beter door fouten op te lossen en de laadsnelheid te verbeteren.

Zorg ook voor een duidelijke sitestructuur en een sterke interne linkstrategie. Houd de activiteit van crawlers bij met tools als Google Search Console en SEO-crawlers. Daarmee leg je een stevige basis voor betere vindbaarheid in Google.

Ben je klaar voor de volgende stap? Wil je dat jouw B2B-bedrijf regelmatig nieuwe klanten aantrekt via online kanalen? Plan een strategiegesprek en ontdek hoe wij jouw bedrijf helpen om binnen één maand nieuwe klanten aan te trekken.