Plataforma para la gestión de market data en tiempo real

Abstract

Este proyecto presenta el desarrollo de una plataforma para la gestión y análisis de grandes volúmenes de datos en tiempo real, diseñada para abordar los desafíos de almacenamiento y procesamiento en áreas de alta demanda como el ámbito financiero, científico y tecnológico. La solución propuesta permite manejar datos de alta frecuencia de manera escalable, optimizando la toma de decisiones en contextos donde el tiempo de respuesta es crítico. El trabajo se centra en la implementación de un módulo de ingesta y procesamiento de información en tiempo real, enfocado en el sector financiero y, específicamente, en el mercado de criptomonedas, utilizando datos de la plataforma Binance. Para el almacenamiento se emplea MongoDB, y el procesamiento se realiza con tecnologías como Apache Kafka y Apache Spark, que permiten administrar y analizar los datos mediante Procesamiento en Streaming y batch. Los resultados obtenidos muestran que el sistema es capaz de realizar la ingesta y procesamiento de datos en tiempo real de manera eficiente, permitiendo el análisis y almacenamiento de la información en MongoDB. El uso de tecnologías como Apache Kafka y Apache Spark facilita el manejo de grandes volúmenes de datos y asegura la disponibilidad de estos para futuras consultas y análisis. This project presents the development of a platform for the management and analysis of large volumes of real-time data, designed to address storage and processing challenges in high-demand areas such as finance, science and technology. The proposed solution enables the handling of high-frequency data in a scalable manner, optimizing decision-making processes in contexts where response time is critical. The work focuses on the implementation of a real-time data ingestion and processing module, specifically targeting the financial sector and cryptocurrency markets using data from the Binance platform. MongoDB is used for storage, and the processing is performed using technologies such as Apache Kafka and Apache Spark, enabling data management and analysis through streaming and batch processing. The results demonstrate that the system efficiently ingests and processes real-time data, enabling the analysis and storage of information in MongoDB. Technologies such as Apache Kafka and Apache Spark facilitate the handling of large volumes of data and ensure data availability for future queries and analyses.