OpenAI reconnaît que ChatGPT peut déclencher l’exploration de pages restreintes, même quand un site les a exclues via robots.txt. Le débat ne porte plus sur la théorie, mais sur le terrain : des logs serveur confirment des accès non autorisés par des bots d’intelligence artificielle opérant “à la demande” d’un internaute. Les éditeurs s’inquiètent pour la confidentialité, la sécurité des données et la protection des informations stratégiques. Les référenceurs, eux, doivent jongler entre visibilité et contrôle.
Le contexte se tend. En Europe, des analyses agrégées montrent que des fetchers AI atteignent des URL pourtant exclues. ChatGPT-User arrive en tête, suivi par Bytespider et Youbot. La ligne de défense des opérateurs ? L’appel humain primerait sur robots.txt. Sauf que côté éditeurs, seule la preuve technique compte : ce qui est servi par le serveur a bien été vu. Pendant que certains assistants, comme ceux d’Anthropic, revendiquent respecter le fichier, d’autres assument la nuance. Et une décision côté réseau se profile : Cloudflare va bloquer par défaut des agents d’entraînement et d’action sur des pages avec publicités, laissant passer les bots de recherche. Le rapport de force se déplace au niveau de l’infrastructure.
En bref
- OpenAI admet que ChatGPT peut charger des pages restreintes si l’action vient d’un utilisateur.
- En Europe, environ 15 % des fetchers identifiés ont atteint des URL marquées comme interdites.
- ChatGPT-User, Bytespider, Youbot : principaux agents impliqués sur des sites pourtant bloqués.
- Bloquer ChatGPT-User ne bloque pas OAI-SearchBot : le premier charge, le second décide de la visibilité en recherche.
- Les chiffres varient fortement selon les régions et les bots ; Claude-User et Perplexity-User sont moins bloqués en Europe qu’en Amérique du Nord.
- Les logs serveur priment : robots.txt reflète l’intention, pas la réalité.
- Cloudflare bascule vers un blocage par défaut (pages avec pubs) au niveau réseau : un tournant pour la vie privée et la sécurité des données.
OpenAI admet que ChatGPT peut explorer vos pages restreintes : nouveaux risques pour la confidentialité
OpenAI précise que ChatGPT-User agit quand un internaute pose une question et déclenche un chargement ciblé. L’argument : l’initiative humaine placerait ces requêtes hors du champ strict de robots.txt. Perplexity-User porte une logique voisine, tandis qu’Anthropic affirme que ses trois bots s’alignent sur le fichier.
Conséquence immédiate : bloquer ne suffit plus. Les éditeurs doivent vérifier ce qui est réellement servi et comment. La confidentialité ne se gère pas seulement côté balises, mais à la source du trafic. Insight : ce qui est chargé existe de facto dans l’écosystème AI.
Comment fonctionne ChatGPT-User : quand l’appel utilisateur bouscule robots.txt
L’agent ChatGPT-User se déclenche depuis l’interface ChatGPT. Il demande une page spécifique pour répondre, ce qui ressemble moins à un crawl qu’à une exploration ponctuelle. L’intention change, l’effet reste : l’URL est chargée.
Cas typique : page tarifaire cachée d’un SaaS, volontairement exclue. Un utilisateur demande “Quels sont les coûts cachés ?”. L’agent tente de consulter la page. Robots.txt indique “non”, mais le serveur enregistre parfois un passage. Morale : le serveur raconte la vérité opérationnelle.
Comprendre ce déclencheur, c’est adapter ses contrôles au niveau réseau et application, pas seulement via un fichier texte.
OpenAI, ChatGPT et chiffres 2026 : 15 % des fetchers atteignent des URL interdites
Le premier semestre 2026 montre environ 15 % de bots AI “fetchers” accédant à des URL marquées comme interdites en Europe. ChatGPT-User, Bytespider et Youbot dominent ces occurrences, chacun ayant atteint des pages bloquées sur près de la moitié des sites concernés.
Les disparités régionales sont nettes : Claude-User n’est bloqué que par 9 % des sites européens, contre 26 % en Amérique du Nord. Perplexity-User : 13 % en Europe, 26 % outre-Atlantique. Lecture stratégique : en Europe, la plupart des agents récents passent sous le radar… sauf ChatGPT-User, à la fois très bloqué et souvent contourné.
Mesure vs. justification : pourquoi les chiffres ne pardonnent pas
Les opérateurs distinguent action humaine et crawl. Les métriques ne le font pas : toute requête vers une URL interdite est comptée comme contournement. Cette divergence explique l’écart entre discours et réalité observée.
Pour piloter la protection des informations, il faut s’en tenir aux données serveur. La meilleure politique reste celle qu’on peut auditer.
Entre image de marque et preuves techniques, la confiance se gagne logs à l’appui.
Bloquer ChatGPT-User sans perdre OAI-SearchBot : l’équilibre visibilité/contrôle
Piège fréquent : confondre ChatGPT-User (chargement ponctuel) et OAI-SearchBot (sélection des pages affichées dans les résultats de ChatGPT). Un site qui bloque les deux coupe l’exploration, mais s’efface aussi des réponses générées.
Approche conseillée : tracer, limiter et signer les accès de ChatGPT-User, tout en laissant OAI-SearchBot indexer des pages publiques choisies. L’objectif : réduire le risque d’accès non autorisé sans sacrifier la présence.
Cas d’école SEO : garder la vitrine, fermer l’arrière-boutique
“Orphée Média” garde ses articles ouverts aux bots de recherche, mais exige un jeton côté serveur pour les zones abonnées. Résultat : la vitrine reste visible dans ChatGPT, l’arrière-boutique ne fuit pas.
Le bon signal au bon endroit : c’est la clé d’une stratégie durable.
Confidentialité, sécurité des données et vie privée : quand l’accès dépasse l’intention
Le robots.txt décrit une règle. Les logs racontent un fait. Entre les deux, des données sensibles peuvent transiter : contenus premium, grilles tarifaires, pages de tests, documents internes exposés par erreur. Le risque dépasse la simple exploration ; il concerne la sécurité des données et la vie privée.
Autre angle : les injections sur pages publiques peuvent dérouter un agent IA. OpenAI a reconnu que certains navigateurs ou fonctionnalités adossés à ChatGPT ne seront peut-être jamais entièrement étanches aux attaques de prompt, un risque comparable aux arnaques en ligne historiques. Traduction : verrouiller la surface d’attaque reste indispensable.
Exemple concret : l’e-com’ qui voit fuiter ses bundles tests
“Boutique Vertis” masque ses bundles A/B. Des internautes interrogent ChatGPT. Les logs CDN révèlent des hits d’un agent user-initiated. Les bundles expérimentaux se retrouvent décrits dans des résumés, avant l’annonce officielle.
Leçon : sans garde-fous applicatifs, une page “cachée” n’existe que sur le papier.
Cloudflare durcit le ton : blocage par défaut sur les pages publicitaires
À partir du 15 septembre, les nouveaux domaines ajoutés à Cloudflare bloqueront par défaut les crawlers d’entraînement et agents d’action sur les pages contenant des publicités, tout en laissant passer les crawlers de recherche. Le contrôle remonte au réseau, sans attendre la “bonne conduite” d’un bot.
Cette bascule met à l’épreuve l’argument “chargement initié par l’utilisateur”. Quand l’infrastructure filtre, la règle devient exécutoire. Les équipes légales et SEO doivent réévaluer leur politique d’accès.
Check-list actionnable pour protéger vos pages restreintes
- Auditer les logs serveur/CDN et corréler par user-agent, ASN et schéma d’IP.
- Séparer OAI-SearchBot des agents “user-initiated” dans vos règles de contrôle d’accès.
- Signer les ressources sensibles (tokens temporaires, cookies HttpOnly, entêtes signés).
- Appliquer des règles WAF/Firewalls réseau ciblant familles d’AS connus (avec exceptions pour recherche).
- Restreindre les environnements de test via IP allowlist et désindexation côté serveur, pas seulement robots.txt.
- Marquer les pages premium (paywall dur, taux limite, watermarking sémantique).
- Surveiller les fuites via mentions et résumés IA, et déclencher des takedowns si besoin.
- Documenter une politique claire d’usage des contenus par l’intelligence artificielle et la communiquer.
Dernier mot : la défense la plus robuste est observable, mesurable et réversible sans perdre la vitrine.
