Hace unos días estaba en una tutoría del curso de Ciencia de Datos que estamos dando en Gobierto para el Ayuntamiento de Alcobendas. Cuando los alumnos ya han visto más horas de metraje mío que de El Señor de los Anillos de Peter Jackson, la parte teórica está terminada. Dentro de ello, uno de los temas que tocamos es, lógicamente, el uso de las KPIs (Indicadores Clave de Resultados) para hacer proyectos de datos. Sin embargo, pese a explicar el state of art de qué es una KPI, algunos alumnos me hicieron una pregunta la mar de lógica ¿Cómo elegimos una KPI? Esto me dio que pensar que, efectivamente, hablamos mucho de a qué se parece una KPI pero explicamos muy poco cómo elegir una, algo especialmente complicado para el sector público. Así que llevo un tiempo pensando sobre esta pregunta y quería compartir algunas reflexiones.
La insoportable definición de una KPI pública
Gran parte de este problema viene porque el sector público suele tener problemas a la hora de definir una KPI. Una tienda sabe que vive de vender, un periódico de tener lectores y una red social de tener gente entrando. Pero ¿Cuál es la medida del éxito de una acción pública? Antes de precipitarnos, echemos un vistazo a los problemas que encontramos.
- Intangibilidad. Lo público suele hacer referencia a problemáticas no sólo complejas con muchos componentes, sino que, además, no siempre son tangibles o fácilmente medibles. Cuestiones como la concienciación, la responsabilidad, cambios de actitudes o mejoras de bienestar no son fáciles de medir.
- Dependencia y codependencia. Los problemas públicos son complejos y en ellos intervienen muchas variables, para bien o para mal. La subida o bajada del paro o de la inflación son resultado no solo de la acción pública, sino de la coyuntura exterior y de muchos actores. Es complicado diferenciar lo que es resultado de la acción pública de lo que no.
- Velocidad de respuesta. Los grandes cambios públicos requieren mucho tiempo de respuesta. Una KPI que tarda en informar de resultados más de lo necesario para poder rectificar no es una KPI.
- Responsabilidad. Si me preguntan si quiero que una cosa que es difícil de medir, vamos a obtener información tarde y está influida por factores que no controlo va a servir para medir qué tal trabajo, mi respuesta muy probablemente sería que no. Uno tiene bastante con responder de lo que controla como para hacerlo con cosas que no controla del todo.
Anatomía de una KPI.
Todo esto es un panorama feo que ahora va a empeorar un poco. No hay, salvo en metodologías muy maduras y tecnologías normalizadas (por ejemplo, las ventas) un compendio de KPIs al uso. Dicho de otro modo, si quieres una KPI de tu acción pública, para bien o para mal, te toca a ti definirla. Así que mejor tomar aire, armarse de valor y empezar a pensar en cómo hacer una KPI.
Sabemos que las KPIs deben ser relevantes, accionables, controlables en el tiempo, etc. Pero hay una serie de cuestiones que hay que tener en cuenta para el problema de la acción pública.
- La relevancia de lo que medimos. Lo primero es lo primero y la relevancia está en esta posición. Lo complicado de definir una KPI relevante no es tanto elegir algo que importe (en lo público casi todo importa) sino en definir hasta qué punto es relevante tu acción y es relevante para tu acción. Es decir, tenemos que medir no sólo aquello en lo que lo que hacemos es determinante para el resultado, sino que también el resultado nos va a dar pistas de qué hacemos mejor o peor. Es un poco «conundrum», pero pensemos en que la relevancia no la marca la importancia del tema, sino la implicación de quien mide.
- Eficacia y eficiencia del KPI. Cualquier sistema de medición experimenta la tensión entre lo fiable de la medición y lo rápido que mide. Esto lo hemos visto con el COVID: medimos peor con los termómetros a distancia, pero lo bastante bien como para saber si la gente tiene mucha fiebre para entrar en un avión. No hay métricas perfectas: en algunas perdemos algo de fiabilidad de información y otras son absolutamente ingobernables o requieren pre-procesado. Lo bueno o lo malo, es que es una decisión que hay que tomar, y sea la que sea, tendrá sus ventajas y sus inconvenientes.
- Capacidad de recogida. Un tercer problema es que no siempre podemos recoger lo que nos gustaría. Por ejemplo, si medimos el éxito de la política de empleo es muy difícil saber hasta qué punto una persona ha encontrado trabajo ( o no) por la asistencia en su oficina de empleo y no por un familiar, amigo o simplemente la suerte de haber conectado con quien le entrevistaba.
En resumidas cuentas: a la hora de elegir una KPI tienes que coger algo que le importe a lo que haces, que refleje razonablemente la realidad y que puedas recoger de manera rápida y fiable.
¿Cómo elegir una KPI?
Ahora que sabemos cómo es una KPI, tenemos que pensar cómo creamos la nuestra. Diría que hay 5 puntos básicos.
- Saber qué es lo que hacemos. Esto es lo primero y no siempre es sencillo, más aún en los tiempos de la planificación estratégica y la grandilocuencia de lo público. Define, señala y acota qué es lo que se supone que hace tu negocio. Pégate a la tierra y piensa por qué estás ahí y, lo que es más importante, qué es exactamente lo que pretendes hacer. Las oficinas de empleo tienen tanto la tarea de acabar con el paro como de orientar a las personas que pasan por ellas y facilitarles la tramitación de sus subsidios (por poner un ejemplo muy a la ligera).
- Saber a qué se parece el éxito. Para mí esta es la clave y la parte más difícil, pero si sale bien, todo va rodado. No pienses tanto «qué es lo que hago yo» como «cómo identifico que he hecho mi misión bien», a ser posible en cada caso concreto. Es decir, la KPI no se construye diciendo que el éxito de una oficina de empleo es la tasa de paro de su área de acción, sino, por ejemplo, el número de entrevistas de trabajo que realiza cada persona que atiende. Lo malo es que esto no siempre es fácil y requiere un esfuerzo de honestidad grande (saber a lo que podemos aspirar y si nuestra primera idea es «tan» buena). Lo bueno es que es algo divertidísimo.
- Pensar la mejor manera de obtener los datos. Sabemos lo que hacemos y a lo que se parece el éxito, ahora nos falta saber cómo lo medimos. Esto requiere pensar qué fuentes de datos tenemos, cuáles podemos tener (no están ahí, pero se pueden lograr) y luego decidir si es lo bastante eficaz, relevante y fiable.
- Pensar en lo que aparece y lo que no aparece. Una vez que tenemos los tres pasos previos, tenemos que hacer un pequeño experimento mental: piensa muchos casos que medirías con esa métrica y piensa si los contaría. Si esto es así, tienes un primer paso importante. Pero no te quedes aquí, piensa casos que son relativamente raros y que podrían ser de éxito y comprueba si los cuentas. Por ejemplo, en nuestra oficina de empleo pensamos que el éxito viene por el número de entrevistas que hace la gente. Para comprobarlo, les llamamos cada 15 días en horario de fuera de oficina porque, probablemente en esas horas, estarán haciendo entrevistas. Sin embargo, puede ser que si llamamos de 7 a 10 de la noche, familias con niños puede que no atiendan el teléfono, así que puede que no estemos contando esos casos. Aquí hay que ser un poco intensivos, porque es el principio de los sesgos.
- Asumir que no es para toda la vida. Los analistas nos dedicamos a sermonear mucho sobre medir para mejorar, pero no solemos decir (quizá para no liarnos) que también tenemos que aplicarlos a nuestras KPIs. No te cases con una KPI, si se te ocurre algo que la mejore, o si encuentras casos que no se recogen (o errores que se recogen), cámbiala sin problema. Es un aprendizaje.
¿Qué es lo que puede matar a tu KPI antes de empezar a usarla?
Como puedes ver, lo malo de hacer KPIs para cualquier investigación o sistema de monitorización, es que no es especialmente sencillo de hacer. Sin embargo, en mi experiencia el mayor problema está justo antes de esto: empezar a probar. Las razones que suele haber son:
- Miedo a equivocarse. Esta es la más habitual y frecuente, dado que ante una tarea que no se haya podido hacer antes y que tiene cierta complejidad (y responsabilidad) nos frenamos. Tener una KPI mala es un problema, pero generalmente es peor que no tener ninguna.
- Una gran KPI supone una gran responsabilidad. Si el tío Ben de Peter Parker hubiera dado clase en escuelas de gestión diría que una KPI es una responsabilidad, dado que mide lo que hacemos para bien y para mal. Medir es un foco de tensión, pero a fin de cuentas define un espacio o elemento concreto sobre el que debatir. Es mejor dedicarse a discutir de cómo ha ido el partido que sobre algo concreto y definible como si el balón a pasado la línea.
- No asumir que una KPI es solo un primer paso. Muy rara vez una KPI de va a tener un versión definitiva, y mucho menos en el primer intento. Las prioridades de la organización a la hora de actuar, la tecnología disponible o, sobre todo el aprendizaje sobre el negocio hace que podamos evolucionar los sistemas de medición. Una KPI no es para toda la vida (aunque es verdad que esto tiene implicaciones con la continuidad de la medición) es posible que cambie y no es un gran daño hacerlo. Quítate la presión de la cabeza.
El resto es ponerse a andar, probar, aprender y mejorar. Para bien o para mal, quien mejor puede elegir cómo medir algo es quien conoce bien ese negocio. El mayor freno, al final, es la indecisión ante algo tan normal como aprender lo que no has hecho antes.
