Implementación y adaptación de un algoritmo de reconocimiento de lengua de señas en videos para dispositivos android, enfocado en Lengua de Señas Chilenas (LSCh): caso DialogApp

Abstract

Esta memoria presenta la implementación y optimización de un sistema de reconocimiento automático del alfabeto dactilológico de la Lengua de Señas Chilena (LSCh) para Android, superando el módulo de reconocimiento desarrollado previamente en el marco de la Feria de Software de la Universidad Técnica Federico Santa María. Ante la falta de recursos públicos, se construyó un dataset de 1.350 videos que abarca señas estáticas y dinámicas. La solución emplea la extracción de puntos de referencia 3D mediante MediaPipe y una ingeniería de características basada en distancias inter-digitales sobre coordenadas métricas, reemplazando la representación de deltas de imagen del sistema original y permitiendo distinguir señas con morfologías similares. El motor predictivo utiliza una arquitectura híbrida Conv1D y GRU Bidireccional. Bajo un protocolo de validación cross-signer (generalización a usuarios no vistos en entrenamiento) el sistema propuesto alcanza un 85,3% de accuracy, superando al modelo de referencia en 15,0 puntos porcentuales (test de Wilcoxon pareado, p < 0,001); en evaluación intra-signer el accuracy asciende a 98,9%. La mejora se obtiene además con menor latencia computacional. En un Samsung Galaxy S23 (MediaPipe GPU), la propuesta alcanza un pipeline completo de 29,9 ms frente a 33,9 ms del original (-12%), con inferencia TFLite un 24% más rápida (10,2 ms frente a 13,5 ms), logrando un throughput de ≈33 fps suficiente para reconocimiento en tiempo real. En un Samsung Galaxy S20 FE 5G (MediaPipe CPU), la latencia de pipeline es de 76-81 ms, dominada en un 87-89% por la detección de landmarks MediaPipe, con inferencia TFLite un 14% más rápida que el original (8,6 ms frente a 10,0 ms).

This thesis presents the implementation and optimization of an automatic recognition system for the Chilean Sign Language (LSCh) finger-spelling alphabet on Android devices. Due to the lack of public resources, a novel dataset of 1,350 video clips was built, covering both static and dynamic signs. The proposed methodology utilizes 3D landmark extraction via MediaPipe and a feature engineering stage based on inter-digital distances over metric coordinates, enabling the discrimination of signs with similar hand shapes. The predictive engine is based on a hybrid architecture of Conv1D and Bidirectional GRU layers. Under a cross-signer validation protocol (generalization to users unseen during training) the system achieves 85.3% accuracy, outperforming the reference model by 15.0 percentage points (paired Wilcoxon test, p < 0.001), while reaching 98.9% under intra-signer evaluation. The native Android integration was evaluated on two devices. On a Samsung Galaxy S23 (MediaPipe GPU), the proposed model achieves a full-pipeline latency of 29.9 ms versus 33.9 ms for the baseline (-12%), with TFLite inference 24% faster (10.2 ms vs. 13.5 ms), reaching ≈33 fps throughput sufficient for real-time recognition. On a Samsung Galaxy S20 FE 5G (MediaPipe CPU), pipeline latency is 76-81 ms with TFLite inference 14% faster than the baseline (8.6 ms vs. 10.0 ms), with MediaPipe landmark detection accounting for 87-89% of total latency.