Uno de los temas que más se sufre con el trabajo de datos es la dimensionalidad. Hablando en términos generales la dimensionalidad es la cantidad de elementos que tenemos en cuenta a la hora de construir un modelo de datos. Una dimensión es un dato que permite clasificar, y una métrica es el valor numérico que analizamos. De esa manera, una métrica se puede articular por diversas dimensiones. Para entenderlo, una métrica sería la estatura de las personas y las dimensiones serían temas como el sexo, la edad, la procedencia geográfica o el nivel de estudios (por decir). Pues bien, la maldición de la dimensionalidad es básicamente que es muy muy muy difícil saber qué dimensiones y cuántas son las justas para crear un modelo de datos que, a la larga, alimentará un sistema de decisiones manuales (otorgar subvenciones), o automáticas.
Y como bloguero que soy, esa dimensionalidad os la voy a explicar.
La maldición de la dimensionalidad
Como decíamos la maldición de la dimensionalidad es un problema enorme para la creación de modelos de datos y, por lo tanto, de algoritmos de decisión automatizada de cualquier tipo. En nuestro caso de la estatura es más o menos fácil descartar dimensiones que no nos llevan a ningún lado (el nivel de estudios), pero en problemas más complejos esto no es así.
El primer problema de la maldición de la dimensionalidad es bastante contraituitivo: si no sabemos qué dimensiones (y métricas) son importantes, metemos todas. Esto podría sonar lógico: si a la hora de analizar un problema usamos todos los aspectos posibles, es muy probable que tengamos éxito. O en términos de la administración, si para una subvención pedimos datos e información como para saber qué número de pie tiene el apoderado de la persona jurídica de marras, ¿Cómo nos van a engañar?
Sin embargo, sabemos que usar muchas dimensiones es contraproducente. Primero porque metemos en el modelo un montón de elementos que no son relevantes y que en el mejor de los casos (que es casi nunca), al final influyen en el resultado de manera imprevisible. Es decir, si un algoritmo considera el número de pie del apoderado, posiblemente en algún momento, el número de pie del apoderado quitará o dará puntos en la valoración de la subvención. Adicionalmente, se que puede parecer poco, pero en un algoritmo cualquier variable añade una carga de trabajo que, a priori, puede parecer ligera pero acaba siendo importante.
Así que podríamos optar por la otra cara, que sería quitar dimensiones. En este caso un estudio podría llevarnos a descubrir que, por ejemplo, el volumen de ingresos de las diferentes organizaciones que optan a la subvención es un buen indicador. Podríamos optar por quitar otros datos y pedir solo ese. En ese caso tenemos una falta de dimensionalidad y perderíamos perspectiva. Si, por ejemplo veis ciclismo, es como cuando ves una llegada al sprint: de frente (una dimensión) crees que gana uno, pero cuando vas a la perspectiva superior (dos dimensiones) ves mucha más diferencia y gana otro. Esta es la falta de dimensionalidad.
En el caso de las administraciones lo encontramos en ayudas económicas en las que se excluye el nivel de ingresos porque es más eficiente el tratamiento. Al final se pierde perspectiva y el impacto es regresivo, lo que es un problema si la intención no es que lo sea.
La maldición de la dimensionalidad en las Administraciones Públicas
Las administraciones tienen un problema de dimensionalidad muy grande. Esto no es nuevo, ni es algo original: el conflicto clásico entre la eficiencia y la progresividad fiscal del IRPF es, entre otras cosas, un problema de dimensionalidad. Demasiados datos pueden facilitar una mayor adecuación del tipo impositivo y la tributación para cada caso, pero puede ser contraproducente a la hora del esfuerzo que supone declarar y comprobar su veracidad.
En un plano más pedestre, la administración suele caer en la maldición de la dimensionalidad porque, entre otras cosas, ante la duda, pide. Pide datos, pide documentos, pide testimonios, etc. Pide todo lo que cree que puede tener utilidad para poder decidir en el momento o en el futuro. Esto supone, como decíamos un coste temporal (y cognitivo) para quien lo rellena. Es verdad que, en muchos casos, no es la preocupación de quien diseña un trámite o un procedimiento, sin embargo, la dimensionalidad también es costosa.
A la administración le cuesta el almacenamiento de datos y documentos, que puede ser poco unitariamente, pero multiplicarse por millones. No obstante, el coste más evidente es el de procesado, sea humano o automatizado. Darle la vuelta a datos innecesarios, supone un coste de recursos alto. Adicionalmente supone, como poco, un coste de oportunidad (cuando gastamos recursos midiendo cosas que no son útiles), si no uno de generar, como decíamos, resultados erróneos. Empiezas pidiendo el pie del apoderado del solicitante de la subvención y acabas denegando la subvención a quien está idealmente destinada.
Por otro lado, en el conjunto de datos, la petición innecesaria complica mucho la gobernanza del dato. Esto puede parecer poco probable, pero cuando pides el mismo dato (o muy parecido) en procesos diferenciados, posiblemente no sean consistentes ni en forma ni en contenido. Cuestiones tan accesorias como la manera en la que se solicita y cumplimenta la dirección en diferentes procesos rompe la posible integración entre ellos.
Dicho de otra manera, el adagio «tu pide, que alguien se lo tomará» no aplica a los datos.
¿Qué pueden hacer las administraciones para reducir la dimensionalidad?
Tenemos tres opciones
Cuando no hemos empezado a recoger datos
La opción más lógica es racionalizar la información. En términos generales, lo deseable es tener un responsable de la estrategia de datos que homologue las diferentes fuentes, utilidades y formatos. Esto, como decía, puede parecer fácil, pero en una administración es complicado. El problema suele radicar en que la propia estructura departamental dificulta el control y cohesión en la estructura. El departamento de hacienda necesita X y el de educación Y… así que puede que cada uno vaya por su lado.
Puede parecer lógico (y lo es), pero el coste tampoco es pequeño: se precisa un equipo (de una a más personas) dedicadas, y un sistema de control. La cuestión es que si no hay una normalización y una sistematización, crear un cuello de botella es relativamente fácil. Es una medida estructural y cultural. Casi nada.
Cuando tenemos muchos datos o datos muy variados
La segunda opción es la de hacer un poco de arquitectura de datos. Aquí se trabaja en varias fórmulas:
- Eliminar variables superfluas. Un modelo teórico sólido y comprobado permite detectar variables no útiles. Esto, además, incluye negociar el sentimiento de pérdida de dejar de usar algo que has tenido toda la vida.
- Simplificar y aplanar dimensiones. Otra posibilidad es reescalar las dimensiones para que sean realmente relevantes en el proceso. Es el caso de por ejemplo usar en términos de decisión una calle, un barrio, un distrito, o un municipio. Ajustar las dimensiones significa reducir la variedad, hacerla manejable y eliminar las que hay por debajo.
- Agrupar dimensiones. Otra opción es agrupar dimensiones que suelen ser coincidentes o que tienen un número de opciones «controlable». Por ejemplo, si contamos por ejemplo la provincia de un municipio y tramos de población, podemos agrupar la provincia y el número de habitantes si es que no las vamos a tratar de manera separada. Esto convierte dos dimensiones en una.
Y si no, siempre tenemos el Machine Learning
La tercera opción (que es de la que quería escribir el artículo incialmente) es el uso de modelos de machine learning. LA reducción dimensional es un mecanismo de predicción no supervisado aplicable para este caso, de los más interesantes y de lo más complejos. Consiste en que se realizan pruebas de qué dimensiones son las que generan datos realmente diferenciados que en un escenario. Esto es lo que se utiliza, por ejemplo, para mejorar los sistemas de reconocimiento facial o de caracteres. Es decir, a base de hacer pruebas de comparación de decenas de miles de caras, se encuentran las opciones que permiten detectar diferencias, proponiendo las dimensiones a emplear.
Esto es una idea que me resulta realmente interesante, porque, en realidad, uno se encuentra cantidades de datos enormes que desbordan incluso a sus gestores. Lamentablemente la naturaleza no supervisada del modelo genera incertidumbres. Sin embargo, hay que considerarlo como una opción experimental para replantear la estrategia de datos a la hora de realizar procedimientos.
