A Transformer Approach for the Analysis of Music’s Emotional Trajectory Directly from Music Audio for Recommender System Applications

Abstract

Under the research field of Music Dynamic Emotion Recognition, a subset of Music Information Retrieval and Affective Computing, this study delves into research on Deep Learning techniques focused on the estimation of values associated with the perceived emotional trajectory of complete musical pieces or excerpts. Based on this, one of the research objectives consisted of the implementation of a transformer model that provides dynamic predictions, which are then used for an emotion-based Musical Recommendation System. The concept of emotional trajectory is defined under Russell’s Circumplex model of Affect (1980), a dynamic emotional theory based on the orthogonal dimensions of Arousal and Valence. The models to implement utilize as input a set of 260 low-level features extracted via the openSMILE toolkit. These features were selected during the generation process of the MediaEval dataset for Emotional Analysis in Music (2015), which comprises 1802 music pieces along with dynamic emotional annotations. This dataset serves as a benchmark in the field, offering selected metrics to assess model performance and predictive behavior, obtaining results similar to the state-of-the-art, thus demonstrating the applicability of this type of user-oriented systems.Bajo el area de estudio del Reconocimiento Dinámico de Emociones en la Música, subárea del campo de Recuperación de Información Musical y la Computación Afectiva, esta investigación se enfoca en técnicas de Deep Learning orientadas a la estimación de valores asociados a la trayectoria emocional percibida de piezas musicales completas o fragmentos de estas. Para ello, se implementó un modelo Transformer que obtiene predicciones dinámicas, las cuales son usadas como base para un Sistema de Recomendación Musical basado en emociones. El concepto de trayectoria emocional se define bajo la teoría emocional dimensional de Russell (1980), quien presenta un modelo circunflejo de emociones usando las dimensiones ortogonales de excitación cortical y alerta (Arousal) y valencia (Valence). Los modelos implementados se construyen sobre un conjunto de 260 características de bajo nivel obtenidas con el toolkit openSMILE, las cuales fueron seleccionadas en el proceso de generado del dataset MediaEval para Análisis Emocional en la Música (2015), el cual consiste en 1802 canciones disponibles junto con sus respectivas anotaciones emocionales estáticas y dinámicas. Este dataset fue diseñado para ser utilizado como benchmark en el área, por lo cual cuenta con métricas seleccionadas para validar el rendimiento y comportamiento de los modelos desarrollados, obteniendo resultados similares al estado del arte, demostrando así la aplicabilidad de este tipo de sistemas enfocados en el usuario.