Un seul réglage robots.txt pour refuser l’entraînement des IA : faut-il l’ajouter au site de votre PME ?

Jusqu’ici, une entreprise qui ne voulait pas que les textes de son site servent à entraîner les modèles d’IA devait écrire une règle par robot dans son fichier robots.txt : une pour OpenAI, une pour Google, une pour Anthropic, et ainsi de suite, avec des noms qui changent. Le 30 octobre, Google, Microsoft et OpenAI ont annoncé qu’ils liront une même instruction, proposée par un ingénieur d’Anthropic, qui a commencé de son côté à la mettre en place. Pour le site d’une PME, la vraie question n’est pas technique : c’est de savoir si l’on a intérêt à dire non, et ce qu’on perd en le disant.

Ce qui a été annoncé le 30 octobre

Le mécanisme vient d’un brouillon déposé à l’IETF, l’organisme qui normalise les protocoles d’Internet, par Kevin Kelley, responsable des standards chez Anthropic. Il s’appuie sur le travail du groupe « AI Preferences » (AIPREF) et sur sa définition de l’entraînement : utiliser un contenu pour modifier les paramètres d’un modèle d’IA générative.

Le même jour, trois engagements ont été publiés :

• Google (blog Search Central, billet de John Mueller) vise une prise en charge « en 2027 », et sa documentation parle de début 2027.
• Microsoft (blog Bing) appliquera la préférence à partir du 1er février 2027, au fil de ses passages sur les pages.
• OpenAI annonce une mise en œuvre « dans les prochains mois », sans retirer ses réglages actuels comme GPTBot.

Anthropic, de son côté, indique avoir « déjà commencé » à l’implémenter, sans date de mise en service. Concrètement, rien ne change aujourd’hui sur votre site : il s’agit d’un calendrier, pas d’une bascule.

Comment ça s’écrit

On n’ajoute pas de nouvelle commande au fichier. On écrit un groupe robots.txt classique, mais à la place du nom d’un robot, on indique un « jeton » commun, __usage_ai-training (avec deux tirets bas au début). L’exemple du brouillon, repris par Microsoft :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Ce groupe dit : « je refuse l’entraînement sur tout le site, sauf le dossier presse ». On peut aussi ne viser qu’un dossier, par exemple Disallow: /formations/, et laisser le reste ouvert.

Ce que ce réglage ne fait pas

C’est la partie la plus utile à retenir, parce que beaucoup de raccourcis circulent depuis vendredi.

• Ce n’est pas un blocage. Le jeton exprime une préférence sur l’usage des contenus, pas une interdiction d’accès. Les robots continuent de passer ; pour fermer la porte à un robot, il faut toujours une règle à son nom.
• Ça ne touche pas votre référencement classique. Google comme Microsoft précisent que la présence dans les résultats de recherche ne change pas.
• Ça ne concerne pas les Aperçus IA de Google. Ceux-ci dépendent des règles de Googlebot et du réglage dédié de la Search Console, dont nous parlions dans notre article sur les Aperçus IA et le site d’une PME.
• Une règle « User-agent: * » ne compte pas. Le brouillon le dit noir sur blanc : un site qui bloque tous les robots avec l’étoile n’a, au sens de ce mécanisme, exprimé aucune préférence sur l’entraînement.
• Ce n’est pas encore un standard. Le texte est une contribution individuelle, sans statut officiel à l’IETF, qui expire en mai 2027 s’il n’est pas révisé.
• Tout le monde n’a pas signé. Meta, Amazon et Apple ne figurent pas parmi les entreprises qui se sont engagées à lire le jeton.
• Ça ne rapporte rien. Microsoft l’écrit sans détour : ni l’autorisation ni le refus ne garantissent présence, trafic ou rémunération.

Le piège côté Google : entraînement et citations vont ensemble

Il faut distinguer deux usages. L’entraînement façonne ce que les futurs modèles savent. L’ancrage (grounding) consiste, au moment où quelqu’un pose une question, à aller chercher des pages pour construire la réponse, souvent avec un lien vers la source. C’est l’ancrage qui peut vous amener des visites.

Microsoft sépare les deux : le jeton commun ne vise que l’entraînement, et un réglage distinct, page par page, gère l’ancrage dans Copilot et Bing. Google, lui, traduira un refus via le jeton commun comme un refus de Google-Extended, son réglage maison. Or Google-Extended couvre à la fois l’entraînement de Gemini et l’ancrage dans l’application Gemini. Google le formule à l’envers : les sites qui autorisent explicitement Google-Extended restent éligibles pour apparaître dans les réponses de Gemini et recevoir des clics.

En pratique, un site qui refuse l’entraînement avec le seul jeton commun risque de sortir aussi des réponses citées de Gemini. Pour rester cité, il faut ajouter une autorisation explicite pour Google-Extended, ce qui revient à accepter l’entraînement chez Google :

User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Chez Google, il n’existe donc pas de réglage unique pour « citez-moi, mais ne m’utilisez pas pour entraîner ».

Faut-il l’activer sur le site d’une PME ?

Pour la plupart des sites vitrines, notre réponse est non. Un artisan, un cabinet, une entreprise de services veut que son nom, ses prestations et sa zone d’intervention soient connus des assistants IA que ses clients consultent de plus en plus. Refuser l’entraînement ne protège pas grand-chose sur une page « nos services », et peut coûter de la visibilité, surtout chez Google.

Le refus a du sens quand le contenu est le produit :

• des supports de formation, des guides ou des fiches techniques qui font la valeur de l’entreprise ;
• des photos, illustrations ou textes créatifs que vous vendez ou licenciez ;
• une base de connaissances construite pendant des années et qui vous distingue de vos concurrents.

Dans ces cas, le plus raisonnable est souvent de ne viser que les dossiers concernés, et de laisser ouvertes les pages commerciales. Gardez aussi en tête que le brouillon rattache la préférence au fichier en vigueur au moment de la collecte : il ne prévoit rien pour les contenus déjà récupérés.

Ce qu’il faut faire cette semaine

• Ouvrez votre fichier. Tapez l’adresse de votre site suivie de /robots.txt. Notez ce qui s’y trouve : votre prestataire, votre extension WordPress ou Cloudflare a parfois ajouté des règles anti-IA sans que vous le sachiez.
• Décidez par type de page, pas pour tout le site d’un bloc : pages commerciales ouvertes, contenus à valeur éventuellement protégés.
• Si vous utilisez les balises NoArchive ou NoCache pour limiter Bing, notez que Microsoft cessera de les lire comme préférence IA après le 1er mars 2027. Une étape de transition s’ouvre le 15 décembre 2026 dans Bing Webmaster Tools.
• Mettez un rappel en février 2027, date à laquelle Microsoft commence à appliquer le réglage et où Google devrait suivre.

Notre conseil

Ne réagissez pas à chaud : rien ne s’applique avant 2027 chez Google et Microsoft. Profitez-en pour faire ce que peu de PME ont fait, regarder ce que votre robots.txt dit vraiment aujourd’hui, et décider sciemment ce que vous voulez ouvrir aux IA. Pour la majorité des entreprises, l’enjeu est plutôt l’inverse du blocage : être bien comprises et bien citées, ce que nous détaillons dans notre article sur la façon de préparer son site au référencement par les IA. Si votre site est sur mesure ou si vous ne savez pas qui gère ce fichier, c’est un réglage de quelques lignes que nous pouvons vérifier avec vous.

Sources

Annonce de Google, traduction du jeton commun en refus de Google-Extended, éligibilité aux réponses Gemini, calendrier 2027 : Google Search Central Blog, « Supporting a shared AI training control for websites » (30 octobre 2026). Séparation entraînement / ancrage, syntaxe du jeton, application au 1er février 2027, fin de NoArchive et NoCache au 1er mars 2027, transition du 15 décembre 2026, absence de garantie de trafic ou de rémunération : Microsoft Bing Blog, « Your content, your choice: clearer preferences for training and grounding » (30 octobre 2026). Engagement d’OpenAI et maintien de ses réglages existants : OpenAI, « Making it easier for websites to express AI training preferences » (30 octobre 2026). Détail du brouillon IETF (règle de l’étoile, statut, expiration, préférence au moment de la collecte), engagement d’Anthropic, entreprises absentes : PPC Land (31 octobre 2026) et The Next Web (31 octobre 2026).