Quelles questions utiliser pour surveiller la visibilité dans l'IA ?

Mesurer la visibilité dans les réponses des systèmes d'IA signifie, avant tout, décider quoi demander. La réponse change avec la question : si l'échantillon est composé de questions qu'aucun client ne poserait, le résultat sera précis et inutile. S'il change chaque mois, on ne pourra rien comparer à rien.

L'échantillon est donc l'instrument de mesure, et il doit être construit avec le même soin qu'un questionnaire : représentatif des besoins des clients que vous visez, équilibré, et assez stable pour permettre des comparaisons dans le temps. Ce guide sert à le composer et à définir les règles pour le modifier.

Trois familles de questions, pas une seule

Un échantillon composé uniquement de questions d'un seul type ne mesure qu'une seule chose. Les trois familles répondent à des moments différents et doivent rester distinctes aussi dans la lecture des résultats.

• Informatives. Celui qui les pose est encore en train de comprendre le problème : ce que c'est, quand c'est nécessaire, à quel point c'est compliqué. Apparaître ici n'apporte pas de clients demain, mais c'est le moment où les opinions se forment.
• Comparatives. Celui qui les pose évalue deux voies : faire ou ne pas faire, une solution ou une autre, en interne ou en externe. Ce sont les questions où une réponse honnête sur les limites vaut plus qu'une description enthousiaste.
• De choix du fournisseur. Celui qui les pose cherche à qui s'adresser, souvent avec une contrainte de zone ou de secteur. Ce sont les plus proches de la décision et généralement les moins nombreuses.

La proportion entre les trois n'est pas la même pour tout le monde : elle dépend de la longueur de votre parcours de vente. Un service qui s'achète après des mois d'évaluation a besoin de plus de questions comparatives ; une intervention que l'on recherche au moment du besoin en a besoin de moins.

Avec marque et sans marque sont deux mesures différentes

Les questions qui contiennent le nom de votre entreprise mesurent ce que le système sait de vous : s'il vous connaît, s'il vous décrit bien, s'il confond votre nom avec celui de quelqu'un d'autre. Les questions sans marque mesurent tout autre chose : si vous êtes nommé quand quelqu'un cherche une solution sans vous avoir en tête.

• Gardez-les dans deux groupes séparés et n'en faites jamais une moyenne. Une amélioration sur les premières ne dit rien sur les secondes.
• Les questions avec marque servent aussi à un contrôle de qualité : elles vérifient que ce qui est dit de vous est correct, pas seulement qu'il est présent.
• Les questions sans marque sont la mesure qui compte pour la croissance, et ce sont aussi celles sur lesquelles les résultats évoluent le plus lentement.
• Attention aux noms ambigus : si votre entreprise porte le nom d'un mot courant ou d'une autre société, il faut des questions formulées de façon à distinguer, sinon vous mesurez du bruit.

Un échantillon d'exemple

Voici à quoi ressemble un petit extrait, pour une entreprise qui fait de la maintenance d'installations. Les questions sont données à titre d'exemple et servent à montrer le critère, pas à être copiées.

À côté de chaque question, on écrit pourquoi elle a été incluse. C'est la colonne qui, dans six mois, permettra de comprendre s'il est encore utile de la garder, et qui empêche l'échantillon de se remplir de questions dont plus personne ne se souvient de l'origine.

Équilibrer services, territoire et moment de la décision

Le risque le plus courant est un échantillon déséquilibré sans que personne ne s'en aperçoive : douze questions sur le service qui tient à cœur au dirigeant et aucune sur les deux autres, qui apportent le même volume de travail.

• Un minimum de questions pour chaque service pour lequel vous voulez être trouvé, même pour ceux qui sont moins intéressants à raconter.
• Le territoire uniquement là où vous opérez vraiment. Ajouter des régions où vous n'allez pas gonfle l'échantillon et produit des résultats négatifs qui ne signifient rien.
• Les questions doivent être écrites comme les dirait un client, pas comme vous les écririez vous-même. Le vocabulaire technique interne coïncide rarement avec celui de la personne qui cherche.
• Si un service est nouveau et que personne ne le recherche encore, gardez-le dans un groupe à part : mesurer la visibilité sur une question que personne ne pose n'est pas un objectif.

Quelle taille doit-il avoir, et quand les résultats ne disent rien

La bonne taille n'est pas un nombre fixe : c'est celle que vous parvenez à relire. Un échantillon doit être examiné réponse par réponse au moins de temps en temps, parce que le décompte des citations ne dit pas si vous avez été nommé en bien ou en mal. Si personne n'a le temps de relire, l'échantillon est trop grand.

Versionner l'échantillon, et justifier chaque modification

Un échantillon qui change en silence détruit la possibilité de comparaison : cela ressemble à une amélioration alors que ce sont les questions qui ont changé. La discipline coûte peu et se résume à quelques règles.

1. L'échantillon a une version et une date. Les relevés indiquent sur quelle version ils ont été faits.
2. Chaque modification a un motif écrit : nouveau service, zone où vous avez cessé d'opérer, question qui s'est révélée ambiguë.
3. Les questions retirées ne sont pas supprimées, elles sont archivées avec la date. Cela sert à relire les historiques sans se tromper.
4. Les modifications se regroupent en quelques moments dans l'année, plutôt que d'ajouter une question chaque fois que quelqu'un en a l'idée.
5. Quand l'échantillon change beaucoup, les comparaisons avec le passé se font uniquement sur les questions restées identiques.

Ce que ce guide ne couvre pas

Ce guide construit l'instrument de mesure : quelles questions poser et comment les garder stables. La façon dont on recueille et évalue les réponses — à quelle fréquence relever, quoi compter, comment distinguer une citation favorable d'une simple mention, comment lire une évolution — est un travail ultérieur et distinct, traité ailleurs. Le choix des sujets à rédiger, qui naît souvent de ces mêmes questions, suit lui aussi ses propres critères.