Optimización de prototipo de reconocimiento de gestos faciales, basado en visión computacional para la asistencia de pacientes con discapacidad motora severa

Abstract

El presente estudio explora la creación de un nuevo modelo de detección de gestos faciales basándose en la detección de expresiones faciales de mediapipe, junto con una plataforma para la creación de una base de datos destinada a su entrenamiento. Además, se abordan todas las configuraciones necesarias para poder servir la plataforma, API y base de datos, y los experimentos realizados con distintas combinaciones de componentes del modelo. El objetivo principal del proyecto es la implementación del modelo en la habitación de un paciente con discapacidad motora severa, permitiéndole realizar acciones simples como el cambio de canal en un televisor, y así aumentar su grado de autonomía. Se abordó el problema con el objetivo de generar una base de datos robusta, enfoque que permitió implementar distintas combinaciones de prácticas de preprocesamiento de datos. El resultado muestra un gran potencial y queda abierto a mejoras con las herramientas desarrolladas en el presente trabajo que apunten a mejorar la precisión del detector de gestos faciales en el futuro a medida que la base de datos crezca.

This study explores the creation of a new facial gesture detection model based on MediaPipe facial expression detection, along with a platform for creating a database intended for its training. Additionally, all necessary configurations for serving the platform, API, and database are addressed, as well as the experiments conducted with various combinations of model components. The main objective of the project is the implementation of the model in the room of a patient with severe motor disabilities, enabling them to perform simple actions such as changing the television channel, thereby increasing their degree of autonomy. The problem was approached with the aim of generating a robust database, an approach that allowed the implementation of different combinations of data preprocessing techniques. The results show significant potential and remain open to improvements using the tools developed in this work to enhance the precision of the facial gesture detector in the future as the database grows.