Diseño e implementación de un proceso ETL simplificado con validación de calidad de datos para la generación de reportes de capacitación personalizados en OTIC SOFOFA

Abstract

Una empresa cliente de OTIC SOFOFA necesita un reporte personalizado que consolide datos de cursos, costos y participantes de su holding, incluyendo un resumen de cuentas de financiamiento. Al no disponer de este reporte, se propone el diseño e implementación de un proceso ETL simplificado en Python con Pandas, cuya única entrada es un archivo Excel y cuyo producto final es otro archivo Excel con cuatro hojas: Participantes, Precontrato, Competencias Laborales y Cuentas. El desarrollo incluye el modelado mediante diagramas de mapeo basados en UML, la implementación de reglas de transformación y un proceso de validación que mide el índice de calidad (IC) por hoja. Los resultados con cuatro casos de prueba reales muestran que dos alcanzaron un IC del 100 % en todas las hojas, mientras que los otros dos presentaron errores de origen que afectaron los IC de Participantes y Cuentas, evidenciando la capacidad del proceso para detectar inconsistencias. La solución automatiza la generación de un reporte inexistente, aportando validación y trazabilidad sobre la calidad de los datos.

A client company of OTIC SOFOFA needs a customized report that consolidates data on courses, costs, and participants from its holding company, including a summary of financing accounts. As this report is not available, the design and implementation of a simplified ETL process in Python with Pandas is proposed, whose only input is an Excel file and whose final product is another Excel file with four sheets: Participants, Pre-contract, Job Skills, and Accounts. The development includes modeling using UML-based mapping diagrams, the implementation of transformation rules, and a validation process that measures the Quality Index (QI) per sheet. The results with four real test cases show that two achieved a QI of 100% on all sheets, while the other two had source errors that affected the QI of Participants and Accounts, demonstrating the process's ability to detect inconsistencies. The solution automates the generation of a previously non-existent report, providing validation and traceability of data quality.