Les résultats historiques restent à réconcilier
L’article précédent relatait des questions posées à ChatGPT sur des métiers dans cinq villes du Québec. Sa présentation comportait des incohérences entre les dates et le nombre de métiers décrits. Les réponses originales et la méthode doivent être réconciliées avant de reprendre ses chiffres.
Cette observation historique ne constitue pas une preuve de performance de Boomly. Nous ne présentons pas ses résultats chiffrés comme validés et nous retirons les conclusions générales sur le nombre de places disponibles.
Une réponse conservée pourrait documenter ce que l’outil a affiché à un moment précis. Elle ne démontrerait pas que toutes les entreprises absentes sont invisibles, ni qu’une mention entraîne une vente.
Un protocole proposé pour reprendre le suivi
La démarche suivante est une proposition de travail. Aucun nouveau relevé n’a été effectué pour cette relecture.
- Établir les questions avant le test, à partir de demandes clients documentées. Conserver leur formulation exacte et la zone géographique.
- Noter la date, le produit, le modèle affiché, la langue et l’état de la recherche Web lorsqu’il est observable.
- Conserver chaque réponse intégrale et ses liens. Indiquer les erreurs, refus ou réponses incomplètes dans le relevé.
- Répéter les questions selon un calendrier fixé à l’avance. Documenter les différences de conditions entre les passages.
Avant de publier des résultats, une seconde lecture devrait rapprocher chaque chiffre de sa réponse source. Les données manquantes resteraient signalées. Ce protocole rendrait le relevé examinable sans garantir des réponses identiques.
Séparez les observations des conclusions
Une entreprise nommée, un lien cité et un commentaire défavorable sont des observations différentes. Pour chacune, conservez l’extrait correspondant. Déduire pourquoi l’outil a choisi cette entreprise exige d’autres éléments.
Les documents techniques peuvent éclairer le fonctionnement sans valider l’ancien test. OpenAI décrit ses robots et leurs usages. Google explique les conditions d’apparition dans ses propres fonctions IA. Ces sources concernent des produits distincts.
Décidez à partir de votre propre situation
Pour votre entreprise, commencez par un petit relevé que vous pourrez contrôler. Comparez ensuite les informations publiées sur votre site avec celles des sources citées. Corrigez les erreurs établies et gardez une trace des interventions.
Notre page visibilité Google et IA présente ce travail de vérification. Le guide sur les absences dans les réponses ChatGPT propose les premiers points à examiner.