Choisissez ce que vous souhaitez autoriser
Pour OpenAI, OAI-SearchBot concerne la recherche ChatGPT et GPTBot concerne l’entraînement. Vous pouvez gérer ces usages séparément selon la documentation officielle des robots OpenAI.
Chez Google, Googlebot concerne la recherche. Google-Extended contrôle certains usages d’entraînement et d’appui aux réponses dans d’autres produits Google; il ne détermine pas l’inclusion dans Google Search. La liste officielle des robots Google précise ces rôles.
Notre conseil : écrivez votre objectif avant toute modification. Voulez-vous rendre vos pages commerciales accessibles à la recherche? Conserver une restriction d’entraînement? Demandez à la personne responsable du site de traduire chaque choix en règles distinctes.
Examinez le fichier complet
Ouvrez l’adresse de votre site suivie de /robots.txt. Conservez une copie datée pour pouvoir comparer les versions. Pour chaque robot visé, relevez le groupe applicable et les chemins autorisés ou exclus.
Dans les règles documentées par Google, le groupe le plus spécifique s’applique; les règles du groupe général ne s’ajoutent pas automatiquement. Une autorisation particulière peut donc avoir une portée différente de celle attendue. Consultez les règles d’interprétation de robots.txt.
Préparez quelques adresses à vérifier, notamment l’accueil et une page de service. Notez le résultat attendu pour chacune. Cette liste permettra de contrôler la modification avec la personne qui entretient le site.
Vérifiez aussi l’hébergement
Demandez un examen des réglages de protection et des journaux disponibles. Une page accessible dans votre navigateur ne démontre pas que chaque robot y accède. Un diagnostic utile doit identifier la règle concernée et l’URL testée.
Robots.txt ne protège pas les renseignements confidentiels. Google rappelle qu’une URL bloquée peut encore apparaître dans ses résultats et que certains robots peuvent ignorer les directives. Les contenus privés exigent un contrôle d’accès adapté. Voir les limites officielles de robots.txt.
Documentez la correction
Après une modification, consignez ce qui a changé et refaites les vérifications prévues. Gardez séparés l’accès technique confirmé et l’apparition observée dans une réponse IA.
Pour une vérification ciblée, consultez notre service de visibilité Google et IA. Vous pouvez aussi lire comment examiner une réponse qui ne cite pas votre entreprise.