Magento XML-sitemaps en robots.txt: controle per storeview

Een Magento-sitemap lijkt op het eerste gezicht een eenvoudig bestand met URL's. De webshop genereert sitemap.xml, je meldt het bestand aan in Google Search Console en klaar. In een kleine webshop kan het inderdaad zo overzichtelijk zijn. Zodra Magento meerdere storeviews, talen, domeinen en tienduizenden producten bevat, wordt de sitemap echter een belangrijke kwaliteitscontrole op de hele indexatiestrategie.

Een XML-sitemap vertelt zoekmachines welke URL's je belangrijk vindt en graag gecrawld ziet. Het bestand garandeert niet dat die pagina's worden geïndexeerd. robots.txt doet iets anders: daarmee stuur je welke delen een crawler wel of niet mag bezoeken. Ook dat bestand is geen betrouwbare knop om pagina's uit de zoekresultaten te verwijderen.

Juist het verschil tussen ontdekken, crawlen, canonicaliseren en indexeren zorgt in Magento vaak voor verwarring. Een URL kan in de sitemap staan, door robots.txt worden geblokkeerd en tegelijk een canonical naar een andere URL bevatten. Elk signaal zegt dan iets anders. Google moet zelf uitzoeken wat je bedoelt.

MagentoSEO.nl past geen serverbestanden of Magento-configuratie voor je aan. We analyseren sitemaps, robots-regels, canonicals en indexatie per storeview, vertalen bevindingen naar een concrete briefing voor de webbouwer en controleren na oplevering of de storefront het gewenste resultaat laat zien.

Wat een Magento-sitemap wel en niet doet

Adobe Commerce en Magento Open Source kunnen sitemaps genereren voor onder meer producten, categorieën en CMS-pagina's. Je bepaalt waar het bestand wordt opgeslagen en hoe vaak het wordt vernieuwd. Voor grotere catalogi kunnen sitemaps worden opgesplitst, zodat het aantal URL's en de bestandsgrootte binnen de limieten blijven.

Dat is de technische kant. Voor SEO is de selectie belangrijker dan de frequentie of een prioriteitswaarde. Een goede sitemap bevat in principe alleen URL's die:

• bereikbaar zijn met statuscode 200;
• geïndexeerd mogen worden;
• een canonical naar zichzelf hebben;
• inhoudelijk waardevol en actueel zijn;
• bij de juiste storeview en het juiste domein horen.

Een sitemap is dus geen inventarislijst van alles wat Magento kan produceren. Het is eerder een zorgvuldig samengestelde selectie van URL's die je als zoekresultaat zou willen zien.

Waarom storeviews de controle ingewikkelder maken

Magento kent een hiërarchie van websites, stores en storeviews. Die structuur kan worden gebruikt voor verschillende landen, talen, merken of assortimentsvarianten. Elke storeview kan eigen URL's, productteksten, categorieën en CMS-pagina's hebben.

Daarmee ontstaan vragen die een generieke sitemapcontrole mist. Staat een Nederlands product per ongeluk in de Duitse sitemap? Verwijst een sitemap op www.domein.nl naar URL's op www.domein.de? Heeft iedere taalvariant een zelfverwijzende canonical? En zijn producten die in één storeview zijn uitgeschakeld ook echt uit de bijbehorende sitemap verdwenen?

Een praktische controlematrix ziet er bijvoorbeeld zo uit:

Controlepunt	Nederlandse storeview	Duitse storeview	Gewenste uitkomst
Hostnaam	domein.nl	domein.de	Alleen eigen domein in sitemap
Taal en content	Nederlands	Duits	Geen verwisselde taalpagina's
Canonical	Zelfverwijzend	Zelfverwijzend	Canonical past bij sitemap-URL
Indexeerbaarheid	index	index	Geen noindex of blokkade
Beschikbaarheid	Actief assortiment	Actief assortiment	Geen uitgeschakelde producten

De matrix hoeft niet handmatig voor iedere URL te worden ingevuld. Met een crawl en steekproeven kun je patronen vinden. De kern is dat je de analyse per storeview segmenteert en niet alleen één totaalrapport bekijkt.

Robots.txt is een verkeersregel, geen verwijderverzoek

Een regel in robots.txt kan een crawler verbieden om een pad te bezoeken. Dat is nuttig voor delen die geen organische waarde hebben en onnodig veel crawlcapaciteit vragen. Denk aan bepaalde interne zoekresultaten of technische parameters, afhankelijk van de inrichting.

Een geblokkeerde URL kan desondanks in de zoekresultaten blijven staan wanneer Google de URL via links of andere bronnen kent. Omdat de crawler de pagina niet mag ophalen, kan Google bovendien een noindex op die pagina niet zien. Wie een bestaande URL uit de index wil krijgen, moet daarom eerst bepalen welke methode bij de situatie past: noindex, een redirect, een 404/410-status of een andere structurele oplossing.

In Magento is extra voorzichtigheid nodig met brede regels. Een ogenschijnlijk logisch pad kan ook CSS, JavaScript, afbeeldingen of delen van een aangepaste frontend raken. Daardoor kan Google de pagina anders renderen dan een bezoeker.

De gevaarlijkste situatie: signalen die elkaar tegenspreken

Losse fouten zijn vaak goed te vinden. Tegenstrijdige signalen zijn lastiger. Stel dat een categorie in de XML-sitemap staat, een canonical naar zichzelf heeft, maar via een meta robots-tag op noindex staat. De sitemap zegt: deze URL is belangrijk. De pagina zegt: neem mij niet op.

Andere bekende combinaties zijn:

• een URL in de sitemap die redirect naar een nieuwe URL;
• een product-URL met canonical naar een categoriepad;
• een 404-pagina die na een import in de sitemap is blijven staan;
• een parameter-URL die wordt geblokkeerd terwijl interne links er massaal naartoe wijzen;
• een hreflang-verwijzing naar een taalvariant die niet indexeerbaar is.

De beste oplossing is niet meer configuratie toevoegen, maar de signalen weer hetzelfde verhaal laten vertellen.

Welke URL's horen meestal niet in de sitemap?

Filtercombinaties, interne zoekresultaten, accountpagina's, winkelmandjes en checkout-URL's zijn doorgaans geen kandidaten. Ook redirects, foutpagina's en pagina's met noindex horen er niet thuis. Bij verlopen producten is de keuze afhankelijk van de strategie. Een productpagina met blijvende vraag, alternatieven en nuttige informatie kan waardevol blijven. Een lege pagina zonder vervolgroute niet.

Let ook op CMS-pagina's die technisch publiceerbaar zijn maar inhoudelijk weinig voorstellen, zoals tijdelijke campagnepagina's, testpagina's of oude actievoorwaarden. Magento kan een URL genereren; dat maakt die URL nog niet sitemapwaardig.

Hoe controleer je een sitemap zonder te verdrinken in URL's?

Begin met totalen. Hoeveel producten, categorieën en CMS-pagina's verwacht je per storeview? Vergelijk die verwachting met de aantallen in de sitemap. Een verschil is niet automatisch fout, maar wel een reden om verder te kijken.

Daarna controleer je op patronen:

• Download alle sitemapbestanden en koppel iedere URL aan een storeview.
• Vraag statuscode, canonical, robots-meta en contenttype op.
• Controleer of hostnaam, taal en hreflang bij elkaar passen.
• Vergelijk de URL-set met een crawl en met geïndexeerde pagina's in Search Console.
• Onderzoek afwijkingen per template, productstatus of URL-patroon.

Een steekproef blijft nuttig. Open bijvoorbeeld enkele eenvoudige producten, configurable products, categorieën met filters, CMS-pagina's en uitverkochte items per storeview. Een spreadsheet kan zeggen dat een canonical technisch aanwezig is; alleen op de pagina zie je soms dat content, breadcrumbs of taal niet klopt.

Search Console gebruiken als terugkoppeling

Na het aanmelden van de sitemap toont Google Search Console hoeveel URL's zijn ontdekt en welke indexatieproblemen Google signaleert. Het verschil tussen ingediende en geïndexeerde URL's is geen rapportcijfer. Google hoeft niet iedere geldige URL te indexeren.

Wel zijn patronen leerzaam. Veel uitgesloten URL's met de melding dat een andere canonical is gekozen, kunnen wijzen op duplicatie. Een groeiende groep gecrawlde maar niet geïndexeerde productpagina's kan duiden op dunne of sterk gelijkende content. Een sitemap met plotseling veel niet-gevonden URL's wijst mogelijk op een fout in productstatussen, rewrites of een import.

Kijk daarom niet alleen naar de actuele aantallen. Bewaar een nulmeting en volg veranderingen na releases, migraties en grote catalogusupdates.

Een briefing waar een webbouwer iets mee kan

“De sitemap klopt niet” is geen bruikbare ontwikkeltaak. Een goede briefing benoemt per probleem:

• de betrokken storeview en voorbeeld-URL's;
• het huidige technische signaal;
• het gewenste gedrag;
• de vermoedelijke bron in configuratie, extensie of maatwerk;
• de acceptatietest na oplevering.

Bijvoorbeeld: “Producten die op storeview DE zijn uitgeschakeld, blijven na de nachtelijke generatie in de Duitse sitemap staan. Verwijder deze URL's uit die sitemap, zonder de Nederlandse variant te beïnvloeden. Acceptatie: tien opgegeven SKU's ontbreken na regeneratie in DE en blijven aanwezig in NL.”

Zo'n taak is afgebakend, reproduceerbaar en controleerbaar. Dat voorkomt dat een webbouwer alleen één voorbeeld repareert terwijl het onderliggende patroon blijft bestaan.

Wanneer opnieuw controleren?

Sitemaps en robots.txt zijn geen eenmalige inrichting. Controleer ze minimaal na een migratie, domeinwijziging, nieuwe storeview, wijziging van URL-structuur, grote import, frontendvervanging of installatie van een SEO-extensie. Ook een aanpassing aan layered navigation kan onbedoeld nieuwe crawlbare URL's introduceren.

Voor grote shops is een automatische bewaking verstandig. Denk aan waarschuwingen bij sterke veranderingen in aantallen, foutcodes in de sitemap, vreemde domeinen of een onverwachte wijziging van robots.txt. Automatisering vervangt de inhoudelijke analyse niet, maar verkort de tijd tussen fout en ontdekking.

De kern: maak van de sitemap een kwaliteitsfilter

Een Magento XML-sitemap is waardevol wanneer hij een schone, actuele en consistente selectie van indexeerbare URL's bevat. Robots.txt helpt crawlers sturen, maar lost geen inhoudelijke of canonicalisatieproblemen op. Bij meerdere storeviews moet iedere combinatie van domein, taal, canonical, hreflang en productstatus afzonderlijk kloppen.

Wil je weten of jouw Magento-sitemaps en robots-regels dezelfde indexatiestrategie ondersteunen? Vraag een Magento-analyse aan. We brengen de afwijkingen per storeview in kaart, prioriteren de risico's en leveren een controleerbare briefing voor je webbouwer.

Bronnen

• Adobe Commerce: Site maps
• Google Search Central: What is a sitemap?
• Google Search Central: Introduction to robots.txt