Desarrollo de un motor de generación automática de rúbricas y retroalimentación para la evaluación de ejercicios de programación en cursos introductorios

Abstract

Esta memoria presenta un motor de software basado en LLMs orientado a optimizar los procesos evaluativos de la asignatura Introducción a la Programación de la UTFSM. La solución articula una arquitectura RAG conectada al registro histórico del curso, prompts especializados por tarea y un entorno de ejecución, permitiendo generar rúbricas institucionales, evaluar entregas y construir retroalimentación personalizada combinando análisis semántico con evidencia de ejecución. La validación en el semestre 2026-1 demostró alta eficiencia con un tiempo promedio de procesamiento de 22,56 segundos. El cuerpo docente destacó la coherencia de las rúbricas generadas, mientras que el estudiantado valoró positivamente la claridad y enfoque socrático de la retroalimentación, consolidando la viabilidad operativa de la herramienta para mitigar la sobrecarga administrativa sin sustituir el criterio experto del evaluador.

This thesis presents an LLM-based software engine oriented to optimize the assessment processes of UTFSM’s Introduction to Programming course. The solution coordinates a RAG architecture connected to historical course records, specialized prompts per task, and an execution sandbox, generating institutional rubrics, evaluating submissions, and constructing personalized feedback by combining semantic analysis with execution evidence. Validation during the 2026-1 semester demonstrated high efficiency, averaging a processing time of 22.56 seconds. The faculty highlighted the consistency of the generated rubrics, while students positively valued the clarity and Socratic approach of the feedback, confirming the tool’s operational viability to mitigate administrative workload without replacing the evaluator’s expert judgment.