IlseBot/1.0 Documentatie Laatst bijgewerkt: 24 oktober 2026
IlseBot/1.0 — Informatie voor Webmasters & Systeembeheerders
Technische documentatie over de beleefde Nederlandse webcrawler van Ilse.nl, crawl-delays, robots.txt en TDM opt-out headers.
1. Wat is IlseBot/1.0?
IlseBot/1.0 is de geautomatiseerde webspider van Ilse.nl die het Nederlandstalige web (.nl, .frl, .amsterdam) indexeert voor onze publieke zoekmachine. De crawler identificeert zich via de HTTP User-Agent: IlseBot/1.0 (+https://ilse.nl/bot; bot@ilse.nl).
2. Beleefdheidsbeleid (Politeness) & Beveiliging
IlseBot hanteert standaard een minimale wachttijd van 1000ms tussen opeenvolgende verzoeken naar hetzelfde domein en respecteert de Crawl-delay instructie in uw robots.txt volledig. Daarnaast ondersteunt IlseBot de EU DSM Artikel 4 TDM-reservering (tdm-reservation: 1 en meta robots noai).