Un asistente de planta y lo que costó saber si acertaba

Por dentro no hay un asistente sino varios. Media docena de agentes especializados, cada uno con su terreno, coordinados por un orquestador que decide a cuál de ellos le corresponde cada consulta.

Por fuera no se nota nada de eso. Quien pregunta escribe una sola vez y recibe una sola respuesta, sin elegir destinatario y sin saber que ahí dentro hay un reparto de trabajo.

El reparto existe por una razón práctica. Un agente que atiende un terreno acotado responde mejor de ese terreno que un modelo general intentando cubrirlos todos a la vez.

Pero esa arquitectura resuelve un problema y crea otro. Aparece una decisión que antes no existía, que es acertar a qué agente le toca cada pregunta. Si esa decisión falla, da igual lo bueno que sea el agente al que la consulta no llegó.

Esa decisión hay que medirla y medirla cuesta trabajo. Reunimos 118 consultas reales, de las que se hacen de verdad en la planta. Después comprobamos una por una si la pregunta había llegado al agente que le correspondía.

¿Y cuántas habían llegado a donde debían? El 72,8 %. Algo más de una de cada cuatro consultas iba a parar al agente equivocado.

Un número así es incómodo de enseñar y es la única puerta que hay para mejorar. Sin medir, lo que se tiene es la impresión de que funciona, que es justo lo que tiene todo el mundo antes de medir.

Con las 118 delante se ve dónde se rompe. Corregimos el enrutado y volvimos a pasar las mismas consultas, que dieron 89,3 %. Una segunda ronda de correcciones lo dejó en 91,5 %.

Las mismas 118 las tres veces. Cambiar el examen entre una medición y la siguiente convierte la comparación en un adorno.

¿Y hasta dónde seguir? Del 91,5 % al 100 % hay trecho y la tentación de recorrerlo es fuerte, porque un número redondo se enseña mucho mejor.

Decidimos parar cerca del 92 % y decirlo en voz alta. A partir de cierto punto, lo que mejora ya no es el sistema sino el examen.

Cuando se persigue el pleno, cada caso que falla empuja a retocar la prueba hasta que deje de fallar. El número sube, el sistema se queda igual y lo que se ha construido es un examen a la medida de quien lo aprueba.

La misma disciplina nos quitó una idea que nos apetecía. Probamos un modelo más barato para el enrutado y perdió diez puntos en el conjunto, que ya es bastante.

Lo importante estaba en los casos de empate, aquellos en los que dos agentes podían encajar y hay que elegir bien. Ahí cayó del 89 % al 44 %. El ahorro estaba en la factura del modelo y el coste en las consultas difíciles, que son las que llevan a alguien a preguntar.

Hay dos decisiones que no se ven desde fuera y son las que permiten que esto esté funcionando en una empresa grande.

La primera es de permisos. El asistente no tiene acceso propio a nada. Cuando consulta un sistema lo hace con la identidad de la persona que está preguntando, así que cada una ve lo que su puesto le permite ver y ni un dato más.

La segunda es de exactitud. Cuando la respuesta tiene que incluir un texto de referencia, el modelo no lo escribe. Devuelve una clave y el código va a buscar ese texto tal como está guardado, con sus palabras y sin variaciones.

Las dos salen de la misma idea, que es la que ordena todo lo demás. Lo que puede tener consecuencias no se deja al criterio de un modelo, sino que se resuelve en código.