A lo largo de mi vida como usuario de Internet y de la web he rellenado  muchas encuestas (e ignorado muchas más)  acerca de los múltiples servicios que uso. Sin embargo, cuando echo la vista atrás, me es difícil (por no decir imposible) recordar ninguna hecha desde el sector público. En una muestra bastante grande de servicios públicos digitales, los que realizan cuestionarios en el sitio son muy pocos (diría que ninguno). ¿Por qué? ¿Es un modelo que no es aplicable? ¿Estamos perdiendo una oportunidad? ¿O simplemente, se desconoce su uso?

¿Qué son y qué no son las encuestas en el sitio?

Las encuestas en el sitio son un método cualitativo de análisis  web. A través de la presentación de una o varias preguntas tratamos de obtener información de los usuarios del sitio. La principal utilidad del mecanismo es conocer la satisfacción del  usuario con el sitio (o una parte de él), su interés a la hora de entrar en la web (el intent), o la valoración general del servicio. Las respuestas dependerán de qué, cómo, cuando y a quién preguntemos. Como cualquier otro método de investigación(o debería tener  para ser de investigación)  precisa de una hipótesis que validar a partir de las respuestas de los usuarios.

La naturaleza del soporte digital, del público y de los servicios influyen en las posibilidades positivas y negativas de este  recurso. Tenemos que entender que son preguntas que se realizan a lo largo de las distintas etapas de la navegación (puede ser a la entrada, en una página concreta o en la última página de un servicio), y que no pueden ser (si se quieren respuestas) ni muy profundas, ni muy extensas ni muy complejas. Como es un mecanismo que acompaña a la navegación y que nuestro propósito y el del visitante es prestar y acceder a un servicio, es de suponer que no se puede hacer obligatoria la respuesta. Si alguien no quiere responder puede seguir con la navegación.

A partir de estas características debemos tener en cuenta lo que no son:

• No son representativas: No es sólo que la población que accede a un servicio en internet no representa al conjunto de los destinatarios del servicio o de la población, es que ni tan siquiera son representativos de los que usuarios de la web. Los mecanismos técnicos que permiten la publicación de la pregunta pueden limitar quién lo puede ver, pero solo responde quién quiere.
• No retrata LA realidad: Solo tenemos las respuestas de los que entran en el sitio y quieren responder. Esto significa que en la mayoría de las ocasiones contestará gente o muy proactiva, o muy motivada (muy satisfechos o enfadados). En todo caso, no podemos esperar que el resultado de sea un reflejo de LA realidad. No se deben tomar decisiones basadas exclusivamente en el dictamen de la encuesta porque, muy posiblemente, estas no sean adecuadas. Imaginemos un servicio de pago de impuestos nuevo en un municipio en el que, al final se pregunta a la gente cómo lo valora. Las  repuestas presumiblemente incluirán muchos «fans» del ayuntamiento, muchos detractores del ayuntamiento, gente muy contenta con el servicio, gente muy enfadada con el servicio y el «contestador profesional». Esto quiere decir que la respuesta debe ser analizada con cautela. Esto hay que tenerlo en cuenta en las preguntas y en el análisis de la respuesta. Se trata más de un medio para contrastar hipótesis que para generar teorías.
• No es un mecanismo de participación ciudadana: O, mejor dicho, no es un mecanismo de democracia deliberativa. Si los mecanismos no reglados de participación han tenido siempre polémica por el sesgo representativo o cognitivo, las encuestas en el sitio tienen claramente los dos. Se trata de un mecanismo de participación, pero no se pueden tomar su respuesta como LA VOZ DEL PUEBLO. Si se hace una encuesta en un sitio municipal acerca de la utilidad de un viejo centro escolar a demoler, el número de participantes y el resultado será muy distinto de si hacemos una encuesta puerta a puerta, una asamblea ciudadana, o un referendum. Esto significa que no se puede utilizar para legitimar decisiones políticas sino para mejorar la prestación de un servicio en una esfera en concreta, lo que no es poco.

Las encuestas en el sitio donde realmente muestran un valor real es en la valoración de la experiencia del usuario, bien sea en diseño, bien sea en valoración general (mucho mejor cuando sea en el contexto web).  Es decir, las mejores encuestas en el sitio son las encuestas que se hacen sobre el sitio.

¿Cómo funcionan las encuestas en el sitio?

Como decíamos anteriormente, lo primero que necesitamos es una hipótesis que contrastar. En ella podemos plantearnos aspectos generales (como por ejemplo, ¿por qué viene la gente a nuestro sitio?) o aspectos muy específicos (¿te resultó fácil encontrar esta información?). Como hemos dicho, no se trata de saber LA VERDAD a partir de la respuesta, sino que las respuestas obtenidas nos lancen pistas acerca de lo que queremos saber sobre nuerstro sitio. Si por ejemplo, después de un número importante de respuestas vemos que la mayoría de la gente que visita una web municipal lo hace para buscar información y muy poca para los servicios tendermos una idea clara de si debemos mejorar el diseño de la web para orientarla a la información general, o la estrategia de comunicación para atraer más gente que hace trámites. Así pues, lo primero a plantearse es qué queremos saber.

A partir de aquí tenemos que diseñar la pregunta. Como hemos señalado antes, debido a que en los servicios públicos hay aspectos externos al servicio (la alineación política), ser genérico no nos va a ayudar. Preguntas del tipo «¿Te gusta?» dan lugar a respuestas contaminadas. Debemos hacer preguntas lo bastante específicas para que las respuestas no tengan tanto margen a la desviación, pero que sean accesibles. Es decir, preguntar «¿Valore de 1 a 5 la facilidad con la que ha encontrado la respuesta?» o «¿Le resulta suficiente la información de esta página?»

¿Cuantas respuestas necesitamos? Jacob Nielsen en 2000 dijo que con 50 respuestas ya tienes una base importante y con 100 hay una muestra suficiente para hacer hipótesis operativas. Esta es una cifra relativa a la usabilidad, pero realmente puede dar una idea de lo que necesitamos ver para tener una idea de qué funciona.

Tenemos que elegir el público que queremos conocer. En muchos casos será la totalidad de los visitantes, pero también es posible que queramos conocer la de un grupo definido, por ejemplo, la influencia de las redes sociales en la valoración de la web. Esto lo podemos hacer utilizando un segmento específico (gente que viene de redes sociales) a la que le podemos lanzar la pregunta en concreto. La gente que viene a apuntarse a la piscina municipal desde una red social «¿utilizaría las redes sociales para recibir más información sobre el ayuntamiento?». Esto lo hacen la mayoría de soluciones de encuestas.

¿Qué pueden aportar las encuestas en el sitio?

¿Y todo esto para qué?  Para entender por qué el público se comporta de una manera concreta en nuestro sitio. Si bien, gracias a las analítica cualitativa podemos saber si una web funciona bien o no, preguntando podemos conocer matices o elementos que, de otra manera, solo podemos intuir. Entre ellas podemos señalar:

• Las intenciones de la audiencia: Es muy dificil saber sin preguntar por qué viene una visita a nuestro sitio, pero la capacidad de entender ese motivo facilita adaptar el diseño y el contenido a las necesidades del público. No es lo mismo la gente que viene a informarse, que a hacer un trámite, o a resolver una duda.
• Conocer la captación real de público: ¿Cómo ha conocido la gente la web? Por que puede ser que se gaste mucho en promoción de una web, o que haya un gran apoyo político, o que haya un gran despliege en Redes sociales, pero que finalmente, lo que funcione sea el boca-a-oreja, o los anuncios del ayuntamiento. ¿Cómo llegamos a nuestro público?
• La valoración del diseño y contenido: ¿La gente se mueve fácilmente? ¿Encuentra lo que necesita? ¿Lo entiende? En un estudio cuantitativo podemos suponer estos datos de manera agregada, pero las respuestas directas son siempre más claras.
• La valoración del servicio: La madre de las preguntas ¿está usted satisfecho? He de reconocer que la administración no suele preguntar esto, y que cuando lo hace, como me enseñaba Maximo Fraile, lo hace con cuestionarios ingentes. Sin quitar importancia ni utilidad a estos ¿por qué no preguntar normalmente? Es barato, es sencillo y nos da resultados rápidamente sobre los que actuar. Es más, si preguntamos a la gente si lo recomendaría estaremos usando NPS (Net Promoter Score), lo que nos permite comparar entre distintos servicios y valorar ya no solo si la gente está contenta, sino si cree que la solución que damos es la más deseable de las opciones disponibles.

Por todo ello podemos decir que las encuestas en sitio son una solución que tiene mucho que ofrecer a la Administración Pública y, más específicamente, a la Administración digital. Empezar a usarlas es sencillo y abre muchas puertas que se han mantenido cerradas tras enormes proyectos, encomiables, pero que nos llevan a olvidar detalles más pequeños pero igual de necesarios.

Si estáis interesados en este mecanismo dejo aquí la presentación de mi amigo y maestro Xavier Colomés sobre encuestas on-line en las que se habla de este y otros métodos.