Diseño e implementación de una plataforma de IA generativa para la creación de evaluaciones académicas en educación superior: enfoque en Ingeniería Civil Informática UTFSM

Abstract

Este trabajo presenta el diseño, desarrollo y validación de una plataforma basada en inteligencia artificial generativa (IAg) para automatizar la creación de evaluaciones académicas. La solución, orientada a docentes de Ingeniería Civil Informática de la UTFSM, utiliza la API de GPT-4 para generar preguntas alineadas con contenidos y resultados de aprendizaje definidos por el usuario. El desarrollo se realizó mediante Investigación Basada en Diseño (DBR) y metodología ágil Scrum. La validación incluyó encuestas, entrevistas, el cuestionario SUS y una revisión técnicopedagógica de los ítems generados. Los resultados evidencian una alta aceptación por parte de los usuarios (4,44/5) y una usabilidad destacada (88/100). Se concluye que la plataforma es efectiva para apoyar la evaluación formativa, especialmente en niveles fáciles e intermedios, aunque se identifican oportunidades de mejora en particular en ítems para el nivel avanzado. La plataforma se proyecta como una herramienta eficaz para la creación de bancos de preguntas y la automatización de evaluaciones formativas, siempre que se complemente con procesos de curaduría pedagógica, alineación curricular y mejora continua.

This study presents the design, development, and validation of a platform based on generative artificial intelligence (GAI) aimed at automating the creation of academic assessments. The solution, designed for faculty members in the Computer Engineering program at UTFSM, leverages the GPT-4 API to generate questions aligned with userdefined content and learning outcomes. The development followed a Design-Based Research (DBR) approach combined with the agile Scrum methodology. Validation included surveys, interviews, the SUS usability questionnaire, and a technicalpedagogical review of the generated items. The results indicate high user acceptance (4.44/5) and an outstanding usability score (88/100). The platform proved effective in supporting formative assessment, particularly at basic and intermediate levels, though improvements are needed for advanced-level items. It shows strong potential as a tool for building question banks and automating formative assessments, provided it is complemented by pedagogical curation, curricular alignment, and continuous improvement processes.