¿Qué preguntas usar para monitorizar la visibilidad en la IA?

Medir la visibilidad en las respuestas de los sistemas de IA significa, ante todo, decidir qué preguntar. La respuesta cambia con la pregunta: si la muestra está hecha de preguntas que ningún cliente haría, el resultado será preciso e inútil. Si cambia cada mes, no se podrá comparar nada con nada.

La muestra es, por tanto, el instrumento de medición, y debe construirse con el mismo cuidado que un cuestionario: representativa de las necesidades de los clientes que quieres, equilibrada, y suficientemente estable para permitir comparaciones en el tiempo. Esta guía sirve para componerla y para decidir las reglas para cambiarla.

Tres familias de preguntas, no una

Una muestra hecha solo de preguntas de un tipo mide una sola cosa. Las tres familias responden a momentos distintos y deben mantenerse separadas también en la lectura de los resultados.

• Informativas. Quien las hace todavía está entendiendo el problema: qué es, cuándo hace falta, cuán complicado es. Aparecer aquí no trae clientes mañana, pero es el momento en que se forman las opiniones.
• Comparativas. Quien las hace está evaluando dos caminos: hacerlo o no hacerlo, una solución u otra, interno o externo. Son las preguntas en las que una respuesta honesta sobre los límites vale más que una descripción entusiasta.
• De elección de proveedor. Quien las hace busca a quién dirigirse, a menudo con una limitación de zona o de sector. Son las más cercanas a la decisión y por lo general las menos numerosas.

La proporción entre las tres no es igual para todos: depende de lo largo que sea tu proceso de venta. Un servicio que se compra después de meses de evaluación necesita más preguntas comparativas; una intervención que se busca cuando hace falta necesita menos.

Con marca y sin marca son dos mediciones distintas

Las preguntas que contienen el nombre de tu empresa miden lo que el sistema sabe de ti: si te conoce, si te describe bien, si confunde tu nombre con el de otra persona. Las preguntas sin marca miden algo completamente distinto: si te nombran cuando alguien busca una solución sin tenerte en mente.

• Mantenlas en dos grupos separados y no hagas nunca una media entre ellas. Una mejora en las primeras no dice nada sobre las segundas.
• Las preguntas con marca sirven también para un control de calidad: verifican que lo que se dice de ti sea correcto, no solo que esté presente.
• Las preguntas sin marca son la medición que cuenta para el crecimiento, y son también aquellas en las que los resultados se mueven más lentamente.
• Cuidado con los nombres ambiguos: si tu empresa se llama como una palabra común o como otra sociedad, hacen falta preguntas formuladas de modo que distingan, o de lo contrario mides el ruido.

Una muestra de ejemplo

Así se presenta un pequeño extracto, para una empresa que hace mantenimiento de instalaciones. Las preguntas son ilustrativas y sirven para mostrar el criterio, no para ser copiadas.

Junto a cada pregunta se escribe por qué se incluyó. Es la columna que dentro de seis meses permite entender si todavía tiene sentido mantenerla, y evita que la muestra se llene de preguntas de las que nadie recuerda el origen.

Equilibrar servicios, territorio y momento de la decisión

El riesgo más común es una muestra desequilibrada sin que nadie se dé cuenta: doce preguntas sobre el servicio que le importa al titular y ninguna sobre los otros dos, que aportan el mismo trabajo.

• Un mínimo de preguntas para cada servicio por el que quieres que te encuentren, incluso los menos interesantes de contar.
• El territorio solo donde realmente operas. Añadir provincias a las que no vas hincha la muestra y produce resultados negativos que no significan nada.
• Las preguntas deben escribirse como las diría un cliente, no como las escribirías tú. El vocabulario técnico interno rara vez coincide con el de quien busca.
• Si un servicio es nuevo y todavía no lo busca nadie, mantenlo en un grupo aparte: medir la visibilidad sobre una pregunta que nadie hace no es un objetivo.

Qué tamaño debe tener, y cuándo los resultados no dicen nada

El tamaño adecuado no es un número fijo: es el que puedas releer. Una muestra hay que mirarla respuesta por respuesta al menos de vez en cuando, porque el recuento de citas no dice si te han nombrado bien o mal. Si nadie tiene tiempo de releer, la muestra es demasiado grande.

Dar versión a la muestra, y justificar cada modificación

Una muestra que cambia en silencio destruye la posibilidad de comparación: parece una mejora y en realidad han cambiado las preguntas. La disciplina cuesta poco y se reduce a unas pocas reglas.

1. La muestra tiene una versión y una fecha. Las mediciones indican sobre qué versión se han hecho.
2. Cada modificación tiene un motivo escrito: servicio nuevo, zona en la que has dejado de operar, pregunta que ha resultado ser ambigua.
3. Las preguntas eliminadas no se borran, se archivan con la fecha. Sirve para releer los históricos sin confundirse.
4. Las modificaciones se agrupan en pocos momentos del año, en lugar de añadir una pregunta cada vez que a alguien se le ocurre una.
5. Cuando la muestra cambia mucho, las comparaciones con el pasado se hacen solo sobre las preguntas que han permanecido idénticas.

Lo que esta guía no cubre

Aquí se construye el instrumento de medición: qué preguntas hacer y cómo mantenerlas estables. Cómo se recogen y se evalúan las respuestas —con qué frecuencia medir, qué contar, cómo se distingue una cita favorable de una mención cualquiera, cómo se lee una evolución— es un trabajo posterior y distinto, tratado en otro lugar. También la elección de los temas sobre los que escribir, que a menudo nace de estas mismas preguntas, sigue criterios propios.