Wat is crawlen?
Crawlen is het proces waarbij zoekmachines websites bezoeken en pagina’s doorlopen om de inhoud te ontdekken. Dit gebeurt door geautomatiseerde programma’s, zogenoemde crawlers of bots.
Een crawler volgt links van de ene pagina naar de andere. Zo vindt hij nieuwe en gewijzigde pagina’s, die daarna kunnen worden opgenomen in de index van de zoekmachine.
Wordt een pagina niet gecrawld, dan kan deze ook niet in de zoekresultaten verschijnen. Daarom is het belangrijk dat zoekmachines je website goed kunnen bereiken.
Je helpt crawlers onder meer met een duidelijke interne linkstructuur, een XML-sitemap en een correct ingestelde robots.txt. Zo zorg je dat de juiste pagina’s worden gevonden en geen tijd wordt verspild aan onbelangrijke URL’s. Dit is een basisonderdeel van SEO.