it-swarm-es.com

¿Qué se recomienda para la cantidad de usuarios a utilizar en las pruebas cualitativas y cuantitativas?

Actualmente estoy reconstruyendo toda nuestra intranet desde cero, principalmente porque la tecnología detrás está desactualizada y se ha demostrado que es difícil encontrar mucha información.

Aunque eso no viene al caso, lo que me pregunto es cuál sería la cantidad óptima de usuarios para las pruebas cualitativas y cuantitativas con una base de usuarios de alrededor de 1000 usuarios.

¿Existe una regla general para ambos basada en el número total de usuarios que tiene? ¿o es solo 5 para cualitativo y 10 para cuantitativo?

¿Cuál sería el mejor enfoque?

9
LiamGu

En ¿Por qué solo necesita probar con 5 usuarios? Jakob Nielsen sugiere:

Los mejores resultados provienen de probar no más de 5 usuarios y ejecutar tantas pruebas pequeñas como pueda permitirse.

Sin embargo, en lugar de centrarse en el número de usuarios, podría ser mejor centrarse en el número y la calidad de las tareas :

Las tareas de prueba de usabilidad son tan críticas que algunas personas argumentan que son aún más importantes que la cantidad de participantes que usa: parece que cuántas tareas intentan los participantes, no la cantidad de participantes de la prueba, es el factor crítico para encontrar problemas en una prueba de usabilidad .

10
Antony Quinn

No tengo una referencia para esto, pero creo que estos números dependerán del tamaño de la base de usuarios.

Para las pruebas cualitativas necesita tener usuarios "típicos". Entonces, si tiene 3 roles que sus usuarios pueden tomar, necesita al menos 3 usuarios, uno para cada rol. En realidad, querrías más de uno, pero este es tu mínimo absoluto.

Para las pruebas cuantitativas necesita una proporción significativa de su base de usuarios. No sé cuál sería ese número, pero si toma su base de usuarios y el 10% como cifra, necesitará 100 usuarios. Sin embargo, esto puede ser poco realista: puede que no haya manera de que pueda administrar tantos usuarios, o si tiene una base de usuarios pequeña, produciría un número muy pequeño.

2
ChrisF

Algo más a considerar es hacia dónde va el resultado de su informe de usabilidad. ¿Cuánto trabajo pueden arreglar las personas aguas abajo de usted y cuál será el efecto de esas soluciones?

Digamos que hago una prueba con quince personas. Después de los primeros tres he detectado problemas A B C. Al final de los quince también he detectado problemas D E F G.

El problema es que el equipo detrás de mí solo tiene tiempo para arreglar A y B.

Peor aún: una vez que arreglamos A y B, el sistema ha cambiado y los siguientes problemas de usabilidad más serios pueden no ser C-G.

Por lo tanto, analizaría el tiempo de ciclo completo de su gente de desarrollo de productos, y solo haría suficientes pruebas de usabilidad para llenar la cola de trabajo. Es probable que más que eso sea un desperdicio.

Según mi experiencia, hacer más pruebas de usabilidad con menos participantes (incluso solo una) distribuidas durante todo el proceso de desarrollo es mucho más efectivo que unas pocas pruebas grandes.

2
adrianh

Para las pruebas cuantitativas, es posible ser más explícito sobre el efecto del tamaño de la muestra en sus resultados, pero la cantidad de usuarios que necesita depende de las pruebas o análisis particulares que esté considerando (los ejemplos podrían determinar la proporción de participantes que completaron con éxito una tarea , estimando el tiempo promedio en la tarea, comparando dos versiones con un cuestionario como el SUMI o el SUS ...) Por lo tanto, es difícil dar una regla general que sería útil para todas las situaciones, pero existen técnicas para averiguar el tamaño de la muestra Necesitas en una situación dada.

Ahora, si no desea repasar todos estos problemas y realmente estimar cosas como los intervalos de confianza y el poder estadístico, todavía hay dos conclusiones importantes para recordar.

La primera es que la precisión de la estimación y, por lo tanto, la cantidad de usuarios que necesita para alcanzar un nivel de precisión determinado no dependen del tamaño de su base de usuarios, al menos siempre que esta base de usuarios sea mucho más grande que su muestra de prueba. La segunda es que cuanto mayor sea el tamaño de la muestra, menor será la mejora que puede esperar de los usuarios de prueba adicionales. Por lo tanto, pasar de 10 a 110 es una gran mejora, pasar de 1000 a 1100 no tanto.

Es por eso que las encuestas de opinión a menudo tienen muestras de aproximadamente 1000 participantes, incluso cuando la población de interés incluye varios millones de personas. De hecho, el tamaño de la muestra para una encuesta preelectoral será típicamente muy similar en países con 5, 80 o 200 millones de habitantes. Mientras su muestra sea aleatoria y la población sea mucho mayor, no importa si solo solicita el 1%, 0.1% o 0.00001% del número total de votantes.

Ambas conclusiones siguen siendo válidas para otras cosas que no sean porcentajes: por ejemplo, comparaciones entre calificaciones en un cuestionario de satisfacción o análisis del tiempo que lleva completar una tarea. Si desea ir más lejos, un buen punto de partida es el sitio web de Jeff Sauro http://www.measuringusability.com/

1
Gala