Indexering controleren: wat vertelt een crawl?
Een pagina die online staat, is niet vanzelf vindbaar. De audit onderzoekt wat je website aan een crawler teruggeeft. Of Google die pagina al in zijn index heeft, is een andere vraag.
Eerst het korte antwoord ↓- 01Pagina bereikbaar
- 02Indexinstructie lezen
- 03Controleren in Google
Controleer eerst of de publieke pagina bereikbaar is en geen onbedoelde noindex bevat. Kijk daarna in Google Search Console of Google de pagina daadwerkelijk heeft opgenomen. Een crawl kan blokkades aanwijzen; hij bevestigt geen opname in Google.
Drie controles, drie verschillende antwoorden
Een HTTP-status vertelt of de server een pagina levert. Robots.txt bepaalt welke paden onze crawler mag bezoeken. Een noindex-instructie vraagt zoekmachines de pagina niet op te nemen. Een toegestane crawl is dus geen bevestiging van indexering. Andersom kan een geblokkeerde URL soms wel in zoekresultaten verschijnen, zonder dat Google de inhoud kon lezen.
- HTTP 200: inhoud ontvangen, niet automatisch geïndexeerd.
- Noindex: uitsluiting gevonden in HTML of responseheader.
- Robotsblokkade: inhoud niet onderzocht; geen conclusies over ontbrekende metadata.
Verwijder een blokkade alleen als deze onbedoeld is
Voor een publieke dienstenpagina is noindex meestal ongewenst. Voor een klantomgeving, interne zoekresultaten of een persoonlijke tooluitkomst kan het juist nodig zijn. Maak daarom geen bulkcorrectie op basis van een rood label. Noteer eerst welke pagina een zelfstandig zoekresultaat moet worden. Een privacygevoelige pagina beveilig je bovendien met toegangscontrole; noindex is geen wachtwoord.
- Bekijk de exacte URL en omgeving: live, test of preview.
- Controleer zowel de HTML als X-Robots-Tag.
- Laat privépagina’s afgeschermd; herstel alleen de publieke route.
Controleer daarna de werkelijke Google-status
De audit kan een verwijderde noindex opnieuw vaststellen, maar niet beloven dat Google daarna meteen indexeert. Gebruik URL-inspectie in Search Console voor jouw eigen website. Vergelijk de laatst gecrawlde versie, de door Google gekozen canonical en een live test. Vraag herindexering pas aan nadat de oorzaak werkelijk weg is. Ontbrekende Search Console-toegang wordt niet vervangen door een verzonnen indexstatus.
Een dienstenpagina blijft buiten Google
De nieuwe dienstenpagina opent normaal, maar de HTML bevat nog noindex. Die instelling is tijdens het bouwen gebruikt.
Deze pagina legt een echte dienst uit en hoort publiek vindbaar te zijn. De klantomgeving hoort dat juist niet.
Verwijder de blokkade alleen op de publieke pagina’s. Controleer de nieuwe response en vraag daarna via URL-inspectie een herbeoordeling aan.
Zo controleer je het zelf.
- Maak een lijst van pagina’s die zelfstandig in Google mogen verschijnen. Scheid die van accounts, persoonlijke rapporten en testomgevingen.
- Bekijk de gepubliceerde URL zonder ingelogd beheerdersaccount. Controleer HTTP-status, HTML-robots en X-Robots-Tag; een instelling in het CMS alleen is geen bewijs.
- Controleer de gekozen canonical. Een bereikbare pagina kan alsnog naar een andere hoofdversie verwijzen.
- Controleer na publicatie opnieuw en leg de uitkomst naast URL-inspectie. De live test en de laatst door Google opgeslagen versie kunnen verschillen.
Vragen die hierbij horen.
Betekent HTTP 200 dat mijn pagina in Google staat?
Nee. Het betekent dat de server een succesvolle response teruggeeft. Google moet de pagina nog ontdekken, verwerken en selecteren. Een 200-pagina kan bovendien een noindex of een verwijzing naar een andere hoofdversie bevatten.
Hoe snel verschijnt een herstelde pagina in Google?
Daar is geen vaste termijn voor. Een nieuwe crawl aanvragen is geen garantie op opname. Controleer eerst dat de blokkade werkelijk verdwenen is en dat de pagina unieke, bruikbare inhoud heeft. Lees het verschil tussen indexering en vindbaarheid ↗
Moet mijn hele website indexeerbaar zijn?
Alleen pagina’s die bedoeld zijn voor zoekresultaten. Een login, persoonlijk klantdossier of privérapport vraagt een andere behandeling dan een dienstenpagina.
Eerst weten wat er speelt.
Dan gericht verbeteren.
De gratis audit onderzoekt maximaal twintig URL’s en laat het gevonden bewijs zien. Wil je weten wat het herstel voor jouw website vraagt? Bespreek je uitkomst met Kay.
Meer over uitvoering: SEO en vindbaarheid bij Sitesnit.