Een blog dat regelmatig publiceert, accumuleert uiteindelijk tientallen, soms zelfs honderden pagina’s. Zonder een gecentraliseerd mechanisme om ze met elkaar te verbinden, wordt een deel van deze inhoud onzichtbaar, zowel voor lezers als voor crawlers. De sitemap, of deze nu in XML- of HTML-formaat is, vervult deze rol van interne mapping. Het opzetten ervan roept specifieke technische vragen op, die vaak verkeerd begrepen worden.
Sitemap XML en HTML-sitemap: twee verschillende logica voor een blog
De verwarring tussen sitemap XML en HTML-sitemap blijft bestaan in de meeste gidsen. Beide bestanden hebben dezelfde naam, maar zijn niet gericht op dezelfde ontvangers en vervullen niet dezelfde functie.
De sitemap XML is een kwaliteitscontrolebestand, geen ruwe inventaris. Volgens de documentatie van Google Search Central zou het alleen canonieke, toegankelijke, indexeerbare en normaal reagerende URL’s moeten bevatten. Redirects, 404-fouten, pagina’s gemarkeerd als noindex en duplicaten hebben hier geen plaats.
Op een WordPress-blog genereert de meeste extensies dit bestand automatisch, maar zonder filtering: archiefpagina’s, weinig gebruikte tags en per ongeluk gepubliceerde concepten glippen er vaak in.
De HTML-sitemap daarentegen is een zichtbare pagina voor bezoekers. Het lijst de secties en artikelen op volgens een leesbare hiërarchie. Voor een blog dat georganiseerd is in thematische categorieën, biedt deze pagina een alternatieve toegang tot het hoofdmenu. Het raadplegen van de sitemap van AllBlogger Tips geeft een concreet overzicht van wat deze aanpak oplevert op een actieve blog.
Het behandelen van deze twee formaten als uitwisselbaar leidt tot fouten: een overbelaste sitemap XML met nutteloze pagina’s verdunt het crawlbudget, terwijl een slecht gestructureerde HTML-sitemap niets bijdraagt aan de navigatie.
Crawlbudget en indexering: wat de sitemap niet alleen oplost
Een wijdverspreide opvatting is dat het voldoende is om een sitemap aan Google te sturen zodat alle pagina’s geïndexeerd worden. De werkelijkheid, zoals gedocumenteerd door Google, is genuanceerder: een sitemap garandeert noch crawlen, noch indexeren. Het geeft crawlers een signaal van de URL’s die de uitgever belangrijk acht, zonder verplichting tot verwerking.
Voor een bescheiden blog (enkele tientallen artikelen) heeft de sitemap vooral een signaleringsfunctie. Crawlers ontdekken de meeste pagina’s via interne links. Aan de andere kant, op een blog met meer dan enkele honderden publicaties, wordt de sitemap een prioritiseringsinstrument. De lastmod-tag kan bijvoorbeeld crawlers richting de recent bijgewerkte artikelen sturen.
De lastmod-tag: alleen betrouwbaar als deze eerlijk is
De Google-documentatie verduidelijkt dat lastmod alleen nuttig is als het een substantiële wijziging van de hoofdinhoud, gestructureerde gegevens of links weerspiegelt. Het wijzigen van een cosmetisch detail (een komma, een spatie) om de datum te verfrissen, komt neer op het versturen van een vals signaal. Crawlers negeren deze tag uiteindelijk op sites die deze misbruiken.
Op WordPress werken sommige extensies lastmod bij bij elke opslag, zelfs zonder echte verandering. Dit gedrag controleren in de instellingen van de plugin voorkomt dat de hele sitemap aan geloofwaardigheid verliest.
Interne links en hiërarchie: de aanvulling die de sitemap niet vervangt
De sitemap XML vergemakkelijkt de ontdekking van pagina’s, maar het interne netwerk bepaalt hun relatieve gewicht. Een weesartikel (zonder inkomende link vanaf andere pagina’s van de blog) heeft weinig kans om als eerste te worden gecrawld, zelfs als het in de sitemap staat.
Drie aanvullende mechanismen verdienen bijzondere aandacht:
- De contextuele links tussen artikelen stellen crawlers in staat de thematische relaties tussen de inhoud te begrijpen, en lezers om hun lectuur voort te zetten
- De navigatie via categorieën en subcategorieën structureert de hiërarchie van de blog op een hiërarchische manier, wat de zoekmachines helpt de belangrijkste pagina’s te identificeren
- De HTML-sitemap biedt een vangnet: als een artikel niet aan een actieve categorie is gekoppeld, blijft het toegankelijk vanaf deze gecentraliseerde pagina
Een blog waarvan de interne structuur uitsluitend op de sitemap XML is gebaseerd, zonder redactioneel netwerk, lijkt op een bibliotheek waarvan de boeken gecatalogiseerd zijn maar nooit op de planken zijn gerangschikt.
Een sitemap indienen in 2024: wat er is veranderd aan de Google-kant
Het mechanisme voor automatische sitemap-notificatie (de “ping”) is door Google op 26 juni 2023 gedegradeerd. Verzoeken die naar het oude eindpunt worden gestuurd, geven nu een 404-fout weer. Voor bloggers die gebruik maakten van automatische indieningshulpmiddelen, betekent deze verandering dat ze hun methode moeten herzien.
Twee kanalen blijven operationeel:
- De verklaring van de sitemap in het robots.txt-bestand, via de Sitemap-directive: gevolgd door de volledige URL van het XML-bestand
- Handmatige of geprogrammeerde verzending via Google Search Console, die ook de mogelijkheid biedt om het aantal ingediende, ontdekte en geïndexeerde URL’s te controleren
De Search Console blijft de enige tool die feedback geeft over de werkelijke status van de indexering. Een ingediende sitemap zonder opvolging biedt geen zicht op genegeerde of foutieve pagina’s.
Frequentie van bijwerken van de sitemap
Op een blog dat meerdere artikelen per week publiceert, moet de sitemap automatisch worden vernieuwd bij elke publicatie. De meeste moderne CMS’en beheren dit proces van nature. Op een minder actieve blog is een wekelijkse vernieuwing voldoende. Het doel is dat de sitemap te allen tijde de werkelijke staat van de blog nauwkeurig weergeeft, zonder spook-URL’s of verwijderde pagina’s.
De sitemap, of deze nu XML of HTML is, is geen wondermiddel. Het functioneert als een aanvulling op het interne netwerk, de kwaliteit van de inhoud en een doordachte hiërarchie. De blogs die er het meeste voordeel uit halen, zijn degenen die het integreren in een algehele onderhoudsroutine, door regelmatig de consistentie tussen de sitemap, de pagina’s die daadwerkelijk online staan en de gegevens die door de Search Console worden gerapporteerd te controleren.
