Saltar al contenido

Blog técnico | Mejorando la experiencia del usuario mediante la experimentación a escala

Nos esforzamos por ser deliberados en todo lo que hacemos, especialmente cuando se trata de la experiencia del producto. Los lectores de este blog llevan mucho tiempo escuchando hablar de Directed Discovery, nuestro marco de trabajo para el diseño centrado en el usuario, liderado por Nate Walkingshaw. Los gerentes de producto (PM) lo han aprovechado durante años para descubrir necesidades no satisfechas y deleitar a los clientes. Recientemente, a medida que nuestra infraestructura de datos ha madurado, hemos examinado cómo la recopilación de datos cuantitativos podría hacerse más dentro de Directed Discovery.

Las entrevistas con la voz del cliente (VOC) son una gran manera de conocer las necesidades y motivaciones de los usuarios, y de entender sus puntos débiles para determinar el espacio clave del problema. Las entrevistas de prueba de preferencia del cliente (CPT) son excelentes para recibir comentarios directos sobre las maquetas y comprender por qué los usuarios prefieren determinadas soluciones de diseño. Sin embargo, estas entrevistas pueden ser propensas al sesgo. Por ejemplo, sólo ciertos tipos de usuarios estarán dispuestos a tomarse el tiempo para charlar. Y sin construir un MVP es difícil hacer que el usuario entre en un contexto tal que sepa cómo reaccionaría realmente a un diseño o solución particular. Por muy importantes que sean las entrevistas, una de las cuestiones más importantes de la retroalimentación cualitativa es, como afirma Nir Eyal en Hooked , que «las preferencias declaradas de la gente… son muy diferentes de sus preferencias reveladas». En otras palabras, lo que la gente dice que quiere es a menudo diferente de lo que demuestra con sus acciones.

Blog técnico | Mejorando la experiencia del usuario mediante la experimentación a escala
Blog técnico | Mejorando la experiencia del usuario mediante la experimentación a escala

El contexto es crucial

¿Cómo pueden los profesionales de los productos evitar eso exactamente? En primer lugar, mediante pruebas de usabilidad, en las que se observa a los usuarios en su contexto. Y, más importante para este post, a través de los datos recogidos mientras los usuarios atraviesan una prueba AB en vivo. Aunque habíamos hecho algunas pruebas AB en el producto, no habíamos invertido el tiempo o el esfuerzo necesario para integrarlo eficientemente en nuestro proceso de Descubrimiento Dirigido, así que determinamos que necesitábamos capacitarnos. Si no está familiarizado, las pruebas AB son una forma de presentar a los usuarios de forma aleatoria uno de los dos diseños de página, por ejemplo, y luego hacer un seguimiento de cómo responden los usuarios a lo largo del tiempo en esa página o en otras partes de la aplicación. En otras palabras, un equipo de producto podría tener la hipótesis de que su nuevo diseño aumenta la participación de los usuarios y establecería una prueba para determinar si los usuarios asignados al azar para ver la experiencia B se comprometen posteriormente más que los asignados al azar al diseño A (es decir, la experiencia actual o de control). A menudo, los experimentos pueden conducir a una investigación cualitativa específica para comprender el por qué detrás de ciertos comportamientos vistos en el experimento.

Aunque tal experimentación ya se había utilizado en el producto anteriormente, no habíamos invertido el tiempo necesario para determinar cómo se debería escalar en nuestros más de 20 equipos de experiencia en el producto. Si íbamos a escalarlo, queríamos proporcionar las herramientas, el proceso y la educación apropiados para hacerlo a través de las mejores prácticas. Esto requería investigación, y sí, algunos esfuerzos de descubrimiento.

Construir Medir Aprender

Como este blog ha mencionado antes, la cultura de la ingeniería está dedicada al Desarrollo Lean , que se centra en la eficiencia del flujo, los ciclos de iteración cortos y la eliminación de código o funcionalidad innecesaria. Nuestros equipos de ingeniería han implementado durante mucho tiempo muchos de estos principios a través del mobbing, el flujo de una sola pieza, y el aprovechamiento de equipos autónomos (incluyendo un gerente de producto y un diseñador) que planifican su propio trabajo. Una lección importante del The Lean Startup es que debemos ser implacables en la eliminación del desperdicio de características de construcción o productos que no mejoran la experiencia del usuario. La mejor manera de lograrlo es aprovechando un bucle de construcción-medida-aprendizaje.

Si bien es importante que los desarrolladores trabajen de manera eficiente, es crucial que envíen lo correcto. El bucle construir-medir-aprender de La puesta en marcha de Lean ayuda a verificar que ese es el caso. En lugar de centrarse en el envío rápido, el enfoque es maximizar la velocidad a la que los equipos aprenden sobre sus usuarios. Esto significa probar rigurosamente las suposiciones que surgen de las entrevistas a los usuarios a través de las pruebas de MVP y AB. En lugar de celebrar cualquier característica nueva, significa celebrar las características que han movido la aguja en la experiencia de usuario clave o en las métricas de negocio.

Antes de examinar las posibles soluciones de pruebas AB para ayudarnos a acelerar tales esfuerzos, necesitábamos determinar los obstáculos culturales y técnicos que inhibían la experimentación pasada.

Descubrimiento para mejorar nuestro descubrimiento

No sólo aprovechamos el Descubrimiento Dirigido con clientes externos, sino también cuando construimos herramientas o establecemos procesos internamente también. Aquí entrevistamos a los gerentes de producto internos para determinar los puntos débiles, las necesidades y las herramientas en el espacio de prueba; combinamos esto con entrevistas externas e investigación para determinar cómo otras empresas habían escalado la experimentación en sus equipos de producto.

Reunimos a gente interna de producto, diseño, ciencia de los datos, análisis de producto e ingeniería para estudiar las transcripciones de las entrevistas y construir mapas de afinidad para organizar los diversos conceptos, pensamientos y sentimientos que surgieron en las entrevistas. Luego trabajamos a través de un mapa de viaje del cliente para determinar el flujo ideal de un gerente de producto a través de un marco de pruebas AB idealizado. De este trabajo surgieron algunas necesidades clave (no todas técnicas):

  • Un marco sobre cuándo los equipos deben pasar de las entrevistas a la construcción de MVPs y la realización de experimentos.
  • Una forma de crear fácilmente dos experiencias y desplegarlas en un experimento corto pero riguroso
  • Una idea clara de qué métricas son las más importantes para el negocio (para juzgar la prueba)
  • Amplia visibilidad en los análisis estándar y reproducibles
  • Socialización de los resultados para maximizar la organización, distribución y comprensión

¿Cuándo debo hacer la prueba?

Los equipos de producto saben desde hace tiempo cuándo y cómo hacer entrevistas con los clientes, cuándo generar hipótesis y cuándo recopilar información sobre las maquetas. A medida que investigábamos la integración de los conocimientos cuantitativos en el Descubrimiento Dirigido, descubrimos que los gerentes de producto tenían tantas preguntas sobre cuándo realizar una prueba como sobre cómo realizar una prueba. Por ejemplo: ¿Qué tan seguros tenemos que estar antes de construir? Si hacemos la prueba, ¿aún así ejecutamos los CPT con maquetas? ¿Cuándo nos saltamos la prueba por completo? La experimentación de escalado requiere casi tanta educación en los procesos como inversión técnica. Para facilitar esto, nuestra organización de prácticas está invirtiendo en nuevas mejores prácticas para combinar la investigación cualitativa y cuantitativa (es decir, métodos mixtos) en el descubrimiento dirigido.

Sólo déjame probar

Encontramos que para muchos PM, ser capaz de probar una suposición rápidamente es clave. Los equipos de producto son autónomos y están acostumbrados a tomar decisiones sin procesos onerosos. Siguiendo nuestra adopción cultural de lean, estas herramientas de prueba (ya que están enfocadas internamente) deberían centrarse en el PM como la unidad de flujo. Por supuesto, en última instancia el objetivo es mejorar la experiencia del cliente. Este enfoque de las herramientas en el PM requiere que los diversos componentes de un experimento – construcción, marcado de características, etiquetado en la web, análisis, etc. – sean eficientes para ellos (es decir, que proporcionen una gran cantidad de actividades de valor añadido en relación con el tiempo de producción).

Claridad métrica

En nuestras entrevistas, a pesar de que tiene KPIs y OKRs trimestrales, incluso los gerentes de producto experimentados expresaron su frustración por la falta de enfoque métrico en su parte de la aplicación. Aunque se sentían capacitados para tomar decisiones, a menudo no conocían la métrica correcta para optimizar. Aunque hablaremos más de esto en el próximo post, un claro enfoque en una o dos métricas de la estrella del norte es crucial no sólo para la escalabilidad, sino también para realizar pruebas significativas que se basan en cada una de ellas en lugar de llevar el producto en direcciones opuestas.

Análisis fiables

Aunque las PM, por supuesto, confían en sus propios análisis, debido a la naturaleza ad-hoc de los experimentos pasados encontramos problemas de confianza en torno a la investigación cuantitativa realizada por otras PM. Aunque siempre confiará más en sus conclusiones que en los resultados de otros, estábamos decididos a cerrar esa brecha. Una de las principales necesidades técnicas que surgieron de nuestro descubrimiento de la experimentación fue la de los cálculos estandarizados, los análisis reproducibles y la visibilidad del proceso. En otras palabras, un motor de estadísticas con una clara visibilidad del código fuente.

¿Puedo encontrar esa investigación?

Teniendo en cuenta nuestra larga historia de investigación cualitativa de los usuarios, contamos con buenas herramientas internas para centralizar los hallazgos cualitativos (es decir, un repositorio de conocimientos). Esto permite a los equipos organizar su propio trabajo y estudiar los resultados anteriores antes de embarcarse en nuevas investigaciones. Encontramos que se necesita una solución similar para los resultados cuantitativos. Determinamos que este producto interno era necesario no sólo para organizar la investigación, sino también para pregonar los éxitos y dar visibilidad a los impactos del equipo en el negocio.

Conclusión

Es fácil de manejar, ¿verdad? Algunas de estas soluciones requieren un cambio de proceso y cambios culturales. Estos problemas no se arreglan en una semana, pero pueden ser resueltos por la coordinación y la educación. Sin embargo, las otras cuestiones en torno a la normalización de la métrica, los cálculos y el análisis, así como la socialización y la provisión de un repositorio de conocimientos de los resultados, requieren una seria inversión técnica. Para hacer bien la experimentación de productos, y para que se amplíe a medida que crecemos, tendremos que invertir en la construcción de una solución o confiar en un proveedor externo. El proceso de toma de decisiones en torno a construir vs. comprar y cómo podría ser un MVP se detallará en la Parte 2. Vuelve pronto!

Para la Parte 2 de esta serie, ver aquí

Categorías: prácticasTags: descubrimiento dirigido, experimentos