Simulación de prendas en la dinámica corporal computada en la nube sobre videos monoculares RGB

Abstract

Las nuevas tecnologías de captura e interpretación de movimientos enfocadas en inteligencia artificial están abriendo espacios de aplicación de nuevas tecnologías y soluciones a través de servicios. La interpretación del movimiento de las personas en videos permite crear aplicaciones de consumo para tareas que anteriormente solo se creían posibles de manera presencial. Este trabajo busca aproximarse a una propuesta que permita inferir el movimiento de una persona en un video monocular e imprimir una prenda sobre un motor de juego: Unreal Engine. El avance de las tecnologías de simulación permite mostrar movimiento y dinamismo realista en cualquier prenda diseñada. Para lograr esto, se desarrolla un conjunto de soluciones basadas en una arquitectura por capas que permitirá procesar cada resultado por separado. La arquitectura de tres capas incluye la inferencia del movimiento del usuario, la extracción de un fondo repintado y la segmentación del usuario. Estos tres resultados deben ser importados a Unreal Engine: el fondo repintado y el usuario segmentado se importan como un asset, mientras que el movimiento del usuario y el modelo de malla debieron ser adaptados a través de Python, utilizando la biblioteca de Blender como módulo, dado que las soluciones exploradas no integran la correspondiente transformación. Finalmente, se materializa la solución dentro de Unreal Engine, lo que implica la creación de un level con todos los assets correspondientes, además de configurar correctamente el motor de simulación Chaos Cloth. Se evalúa la solución para cada tipo de proceso, concluyendo que las etapas de segmentación y repintado son certeras, pero que la importación de los resultados del módulo de captura de cuerpo requiere aún desarrollo vinculado a la interpretación de la disposición espacial del maniquí con respecto a la posición de la persona.