En el Instituto Tramontana hemos empezado a aceptar candidaturas para la próxima edición del programa de dirección y cultura de producto. Será la sexta y comenzará el próximo año 2025, tras el verano.

Nos gusta recoger estas candidaturas a través de eventos, que normalmente celebramos cada dos meses. En esos eventos profundizo en el contenido del programa. Por un lado, me doy una vuelta por lo que está ocurriendo ya en esta edición, de forma que puedes asomarte tanto a los contenidos, como a las personas que lo están cursando, como a toda la batería de ejercicios y casos prácticos. Por otro lado, hago una suerte de simulación abreviada de una clase, para que se entienda, mientras la realizamos, la dinámica de debate y reflexión que acompaña a todo el programa.

Esta semana he tenido la suerte de contar con un buen número de personas interesadas en ampliar su perspectiva sobre producto digital y experimentación. Si te suena interesante, no dejes de escribir a Silvia Romero (silvia.romero@tramontana.net) o de apuntarte a las novedades de Tramontana para enterarte del siguiente evento. 

Hasta la fecha, la síntesis más completa para adentrarse en los experimentos de producto digital es el libro de Y. Xu, R. Kohavi y D. Tang, “Trustworthy online controlled experiments. A practical guide to A/B testing”. El uso de la palabra “trustworthy” es significativo, puesto que en la literatura se ha ido convirtiendo en el tercer eslabón de una cadena empezada con “cause”, seguida por “correlation” y, finalmente, terminada con “trustworthiness”.

En el principal argumentario que utilizan los autores para situar el marco de la experimentación, aparecen dos referencias que utilizamos como hilo conductor en la sesión.

La pirámide de la evidencia se ha convertido en la referencia habitual cuando se jerarquizan las fuentes que sirven para tomar decisiones. Una de las reflexiones que hicimos durante la sesión fue cómo sería llevar algo similar al terreno del producto digital, imaginando que podríamos clasificar iniciativas en distintos escalones.

La referencia a la literatura médica nos condujo directamente a los ensayos clínicos. Se trata de un experimento comparativo que, como tantas ideas sencillas, esconde varios puntos potentes.

El primero es que asume que los individuos se pueden agrupar a partir de semejanzas suficientes como para despreciar las diferencias. La idea es aplicar distintos tratamientos, e incluso ninguno si queremos tener un grupo de control nulo, a distintos grupos para evaluar los resultados. El segundo punto fuerte viene conectado a esta idea de evaluación: la eficacia se convierte en el concepto principal, haciéndose operativa a partir de algún criterio. Por ejemplo, el tratamiento C es mejor que el tratamiento B porque reduce en 2 días la baja laboral, al permitir una recuperación más rápida.

Por supuesto, la eficacia es siempre relativa. Encontramos aquí otro punto fuerte que le puede sentar muy bien al pensamiento sobre producto digital, tan dado a criterios absolutos: "vamos a rediseñar toda la web para corregir todos los problemas", "¿cuándo dejaremos de tener problemas de pagos con Apple?", "vamos a darle tiempo a esto y así quitamos todas las incidencias", etc.

La historia de los ensayos clínicos es una historia de siglos. Nos viene fenomenal, porque una vez más aprendemos que cabalgamos a hombros de gigantes. Es, encima, una historia con muchas anécdotas interesantes. El que se considera el primer proto ensayo clínico va de barcos, escorbuto, y un ingeniero naval, James Lind, que se pone a probar -experimentar- distintos tratamientos aplicados a distintos grupos -segmentos. El tratamiento a base de cítricos es el que acabó siendo el más eficaz.

¿Cuánto de eficaz? En el siglo 18 todavía no podían responder a esa pregunta. Distintos experimentos se sucedieron a lo largo del tiempo y se fueron combinando con la principal fuente de decisión en la prescripción: el ojo clínico. Basado en la experiencia, en la observación de casos, en el conocimiento de la diversidad, el juicio experto no dejará de ser el protagonista de las decisiones, incluso en nuestros días. Su principal objeción será la que nos acompaña siempre como población biológica: los sesgos.

Pero en las primeras décadas del siglo 20 el desarrollo de la estadística como disciplina, y su uso expansivo en distintas áreas, sí que empezó a responder a esa pregunta del "¿cuánto?", relacionada con la eficacia. Es casi en la mitad de siglo cuando se da el que se considera el ensayo clínico de referencia.

Es, además, una pequeña obra de arte del conocimiento humano, por cómo combina una humildad en el planteamiento con una ambición en los resultados. En este caso, ya no se trataba del escorbuto, sino del tratamiento de la tuberculosis. Bradford Hill sintetizó en una tabla los porcentajes de eficacia, a partir de un grupo de tratamiento de estreptomicina y un grupo de control, que en total sumaban 107 pacientes.

Además de evaluar varias dimensiones, en la que se consideraba la más crítica, las defunciones, empezaba a aparecer ya un criterio cuantitativo: un 7% frente a un 27%. La eficacia no busca anular el problema -se asumen las muertes como parte de la ecuación- sino mejoras relativas.

Una instrumentalización de la eficacia como esta no tendría por qué llegar a convertirse, por sí sola, en el estándar con el que hoy nos manejamos. Una serie de factores sociales, puestos en juego al mismo tiempo, fueron conduciendo a la situación actual.

El primero era el papel del estado como agente económico y, en particular, su protagonismo en la creación de seguros sociales y la subvención de tratamientos. Empieza a surgir una pregunta lógica, fácil de entender desde la industria de producto digital aunque muchas veces no la veamos en el día a día: ¿en qué debemos gastar el dinero? O, dicho de otra forma, ¿cómo podemos tener confianza que estamos poniendo el dinero en los problemas y las soluciones que realmente consiguen resultados?

El segundo factor tiene que ver con el otro protagonista de la historia: la industria farmacéutica. ¿Cómo conseguimos corregir unos incentivos que pueden falsear una supuesta eficacia? Hay una búsqueda de cierta imparcialidad, y esta es la razón de que instrumentos como el "doble ciego" -ni el paciente ni el profesional deben conocer el tratamiento que se está aplicando- se acaben convirtiendo también en un estándar.

Este breve recorrido, además de animarnos al debate y a intercambiar distintas experiencias, nos ayudó a ampliar nuestra perspectiva: más allá de modificar unos textos o unos botones en un flujo de alta, más allá de cambiar un diseño en un correo transaccional.

Ampliar la mirada te ayuda a tener una perspectiva más crítica de lo que estás haciendo: ya sabes que cuando pronuncias la palabra "experimento" hay un peso histórico y metodológico, y eso te puede ayudar a pronunciarla en minúsculas en vez de en mayúsculas. También te puede ayudar a pensar el coste que tiene: el andamiaje para instrumentalizar todo esto no es trivial. El éxito o el fracaso a menudo tienen que ver con la dosis.

Nos quedamos con que el espíritu que resuena en todo esto puede ayudarnos a profesionalizar nuestras organizaciones y equipos: los entornos complejos- y ya sabemos que la mancha de aceite que es el software lo hace todo especialmente complejo- requieren de una reflexión sobre cómo deciden lo que deciden, qué coste de oportunidad tienen sus decisiones y, finalmente, qué eficacia acaban teniendo. Sea en forma de experimentos, de apuestas elaboradas a partir de juicios, o de simples intuiciones.