EVALUACIÓN Y REDISEÑO DE UN MODELO DE PROCESAMIENTO DE STREAM ASISTIDO POR DISPOSITIVOS MÓVILES

Abstract

Los sistemas de procesamiento de stream permiten procesar grandes cantidades de información en tiempo real. Estos utilizan un modelo basado en grafos, donde cada uno de sus nodos corresponde a un operador que realiza un tarea en específico. Dada la masividad del uso de dispositivos móviles, existe un modelo que busca integrar el poder de procesamiento de estos dispositivos a un sistema de procesamiento de stream, para lo que combina distintos componente que se encargan de esta integración de forma que tenga en cuenta el balance de carga y la tolerancia a fallas. En esta memoria se proponen cambios a este modelo para mejorar su desempeño, por que son implementados y evaluados bajo un ambiente simulado en el simulador de redes NS-3. Esta evaluación tiene como objetivo verificar el buen funcionamiento de los sistemas de balance de carga y tolerancia a fallas que se proponen, teniendo en cuenta la latencia de procesamiento, la utilización de los dispositivos móviles y el overhead del sistema. Los resultados muestran que la integración de los dispositivos móviles libera carga del sistema de procesamiento de stream, sin tener un mayor impacto en la latencia de procesamiento y el modelo es capaz de recuperarse de las fallas que puedan suceder, con tiempos de recuperación de alrededor de 7.5 segundos y una promedio de eventos perdidos de 0.24%.

Stream processing systems allow to process large amounts of data in real time. These use a graph-based model, where each node corresponds to an operator who performs a specific task. Given the massive use of mobile devices, a model that seeks to integrate the processing power of mobile devices to a stream processing system, for which it incorporates different components that are responsible for this integration so that it takes into account the load balance and fault tolerance. In this work, we present changes to this model to improve its performance, they are implemented and evaluated under a simulated environment in the network simulator NS-3. These evaluations aim to verify the proper functioning of the load balancing and fault tolerance systems, taking into account the processing latency, the processing utilization of the mobile devices and the system overhead. The results show that the integration of the mobile devices release the load from the stream processing system, without having a greater impact on the processing latency and the model is able to recover from failures with a recovery time of around 7.5 seconds and an average of event losses of 0.24%.