Análisis y desarrollo de un modelo de red neuronal con transfer learning para la interpretación de la lengua de señas chilena

Abstract

Las lenguas de señas son sistemas completos de comunicación visual utilizados por personas en situación de discapacidad auditiva en todo el mundo. Debido a esto ha surgido un creciente interés en el desarrollo de sistemas automáticos para la interpretación de estas. A pesar de aquello existe una ausencia de estos sistemas para la lengua de señas Chilena. En este trabajo se aborda el desarrollo de un modelo de aprendizaje automático utilizando técnicas de transfer learning sobre los modelos VGG16, ResNet50 y IncetptionV3 y métodos de optimización de hiperparámetros, aumento de datos y fine tuning. A pesar de las limitaciones del conjunto de datos utilizado, el modelo resultante presenta una precisión por sobre el 90% en data nueva.

Sign languages are fully formed systems of visual communication used around the world by people with hearing disabilities. Due to this the development of machine learning systems for their interpretation has been a growing field of research throughout the past few decades. Despite this there is an absence of these types of systems designed for the Chilean sign language. This work addresses the development of a machine learning model for recognizing the chilean sign language alphabet utilizing transfer learning techniques on the models VGG16, ResNet50 and InceptionV3 alongside the usage of techniques such as hyperparameter optimization and fine tuning. Despite the limitations in our dataset, the results show that the model is capable of predicting the correct sign with a greater than 90 % accuracy on completely new data.