Sistema inteligente para la transformación de obras de artes visuales en experiencias auditivas accesibles para personas con discapacidad visual

Abstract

En el presente informe se aborda el desafío de mejorar la accesibilidad de las obras de arte visuales para personas con discapacidad visual, mediante el uso de inteligencia artificial. Se propone una plataforma accesible que transforma automáticamente imágenes de obras de arte en experiencias sonoras inmersivas, combinando descripciones narrativas y paisajes auditivos generados por modelos generativos. El sistema se estructura en cuatro módulos principales: un generador de audio descriptivo multimodal, un narrador contextual histórico, un generador de sonidos ambientales inmersivos y una interfaz web inclusiva, basada en normativas de accesibilidad, que integra los tres módulos anteriores. En particular, este trabajo se centra en el desarrollo del generador de audio descriptivo multimodal, encargado de interpretar y describir los elementos visuales presentes en las obras mediante modelos de lenguaje multimodales. Los resultados demuestran que el sistema es capaz de generar descripciones coherentes y auditivamente comprensibles, constituyendo un aporte significativo a la accesibilidad cultural y al uso de inteligencia artificial en experiencias sensoriales inclusivas.

This report addresses the challenge of improving the accessibility of visual artworks for people with visual impairments through the use of artificial intelligence. It proposes an accessible platform that automatically transforms images of artworks into immersive auditory experiences, combining narrative descriptions and soundscapes generated by generative models. The system is structured into four main modules: a multimodal descriptive audio generator, a historical contextual narrator, an immersive ambient sound generator, and an inclusive web interface based on accessibility standards that integrates the previous three modules. In particular, this work focuses on the development of the multimodal descriptive audio generator, responsible for interpreting and describing the visual elements present in the artworks through multimodal language models. The results show that the system is capable of producing coherent and auditorily comprehensible descriptions, representing a significant contribution to cultural accessibility and the use of artificial intelligence in inclusive sensory experiences.