Impact evaluation of experience on efficacy of an architectural design decision-making technique

Abstract

La literatura sobre ingeniería de software describe una serie de técnicas para la toma de decisiones de diseño de arquitectura, entre las cuales encontramos TaSPeR ("Tactics Selection Poker"), técnica utilizada para la selección de tácticas arquitecturales basa en "Planing Poker". Sin embargo, falta conocimiento sobre el impacto de la experiencia de quienes utilizan técnicas basadas en la selección de tácticas, sobre su eficacia. Este artículo aborda esta brecha de investigación a través de un estudio experimental sonre el impacto de la experiencia de los miembros de equipos que toman decisiones de diseño de arquitectura de software mediante la selección de tácticas arquitecturales, sobre la eficacia de la técnica TaSPeR para la correcta selección de estas tácticas. Un conjunto de 24 desarrolladores, profesionales de TI, se dividieron en dos equipos de "expertos" y dos de "novatos" (de seis personas cada uno); cada equipo tenía que resolver dos escenarios, uno usando TaSPeR y otros usando una técnica ad-hoc; los escenarios fueron cruzado para mitigar posibles efectos de aprendizaje. Se definieron como métricas de eficacia de TaSPeR la variación al usar la técnica (respecto a no usarla) de sus rendimientos en términos de "precision", "recall" y "accuracy" (tácticas seleccionadas versus una "gound truth"); el imacto de la experiencia de los equipos en la eficacia de la técnica se evaluó comparando los valores de las métricas de eficacia obtenidos por los equipos "novatos" con los obtenidos por los "expertos". Los resultados iniciales sugieren que TaSPeR mejora la eficacia de los equipos "novatos", pero la perjudica en el caso de los "expertos". Este resultado es bastante inesperado y requiere replicación con poblaciones aún más grandes de profesionales de TI (no es un tarea fácil). Si se confirman los resultados, la pregunta que surgirá es: si las técnicas de consenso son tan buneas para estimar, ¿por qué afectaríab a la toma de decisiones de equipos expertos?