Diseño e implementación de un módulo de calidad de datos para un data lake alojado en AWS

Abstract

En el ámbito del análisis de datos, ya sea para entrenar un modelo de Machine Learning, una Red Neuronal o para la Inteligencia de Negocios, la calidad de los datos es un factor crucial. Dentro de un data lake, esto no es tan simple de conseguir. En este trabajo se diseñó e implementó un módulo operativo simple y efectivo para monitorear la calidad de los datos, específicamente sus dimensiones de consistencia, unicidad y exactitud, enviando un reporte diario acerca del estado de los datos. Para lograr esto se investigaron distintas metodologías, integrando lenguajes como SQL y Python para obtener el mejor rendimiento por el menor costo posible. El enfoque inicial se centró en bases de datos Oracle, comparando su información con la almacenada en un data lake en AWS. Esto permitió mejorar la consistencia de los datos consumidos por las distintas áreas de la organización respecto de las fuentes originales. Así, se buscó mejorar la reportería, ya sea de consumo interno o externo, y apoyar la toma de decisiones con información veraz y actualizada. In the field of data analysis, whether is for Machine Learning model training, a Neural Net, or Business Intelligence, a crucial factor is data quality. In a data lake, it is not an easy task. In this project, a simple and effective model was implemented in order to monitor data quality, specifically its dimensions in terms of consistency, uniqueness and accuracy by generating a daily report providing the current data status. To achieve this, various methodologies were investigated, integrating languages such as SQL and Python to achieve the best performance at the lowest possible cost. The initial approach focused on Oracle databases, comparing their data with that stored in an AWS data lake. This improved the consistency of the data used by different areas of the organization relative to the original sources. The goal was to improve reporting, whether for internal or external use, and to support decision-making with accurate and up-to-date information.