# Crawl-delay retire le 2026-08-27 : a 1 requete/2 s, parcourir les 95 720 URL
# demandait 53 h. Google l'ignore, mais Bing et Yandex l'appliquent — il bridait
# donc precisement les moteurs internationaux. La charge est absorbee par le
# cache nginx, pas en ralentissant les moteurs.
# Les crawlers IA ne sont plus interdits : decision produit, etre present dans
# les reponses ChatGPT / Perplexity / Claude.

User-agent: Googlebot
Allow: /
Disallow: /*?date=
Disallow: /*&date=

User-agent: Bingbot
Allow: /
Disallow: /*?date=
Disallow: /*&date=

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# ?date= : espace d'URL quasi infini (232 dates x ~19 000 villes x 5 langues).
# Constate le 2026-09-11 : 88 057 des 94 856 requetes de Googlebot (93 %) partaient
# dans ces variantes, toutes canoniquees vers la page de base et donc jamais
# indexees — 778 388 pages classees « autre page avec balise canonique correcte ».
# Le budget d'exploration ne servait donc quasiment plus les pages utiles.
# C'est le cas d'ecole documente par Google pour les URL de type calendrier.
# Aucun risque de perte : ces URL n'ont jamais ete indexees, et les visiteurs
# ne sont pas concernes (robots.txt n'affecte que les robots).
# UN SEUL groupe « User-agent: * » : deux groupes identiques sont fusionnes par
# Google mais pas par tous les robots — a ne pas laisser trainer.
User-agent: *
Allow: /
Disallow: /*?date=
Disallow: /*&date=

Sitemap: https://tidesatlas.com/sitemap.xml