Weakly supervised semantic sgmentation. Optimización de la Clasificación de Materiales de Reciclaje en Camiones usando WSSS con anotaciones a nivel imagen

Abstract

El presente trabajo de memoria aborda la optimización del sistema RecoMat de la empresa AltaRoad, enfocado en la trazabilidad y clasificación automática de materiales de reciclaje transportados por camiones en entornos logísticos y de construcción. El sistema actual utiliza un modelo de clasificación basado en parches con etiquetas globales a nivel de imagen. El objetivo general del proyecto es evaluar la evolución de este sistema hacia un enfoque de segmentación semántica débilmente supervisada (WSSS), permitiendo determinar con precisión la distribución espacial de los materiales a nivel de píxel sin incurrir en el elevado costo de realizar anotaciones manuales densas. La metodología contempló una fase inicial de exploración y limpieza de datos mediante herramientas como CleanLab, corrigiendo desequilibrios de clase y filtrando imágenes duplicadas o atípicas. Posteriormente, se compararon diversas alternativas del estado del arte (CAMs, Grounding SAM, DINOv2 con FeatUp y Text Region), seleccionando la arquitectura WeCLIP como solución principal. WeCLIP combina las representaciones visuales y textuales de los modelos fundacionales CLIP y DINO con un decodificador liviano, optimizando el uso de memoria GPU. Para la evaluación cuantitativa y cualitativa se construyó un conjunto de datos anotado manualmente (monolabel_evaluation) de 140 imágenes y se diseñó un algoritmo para optimizar los text prompts de CLIP. Los resultados obtenidos validan parcialmente la hipótesis planteada. El modelo logró máscaras de segmentación coherentes y altos valores en la métrica mIoU (mean Intersection over Union) en clases clave como minerales (0.9802), cartón (0.9214), bolsas plásticas transparentes (0.9374), madera (0.8404) y metal (0.7751). No obstante, se identificaron limitaciones en clases con falta de ejemplos monolabel (poliestireno y textil), así como fenómenos de sobreajuste en entrenamientos prolongados (70.000 iteraciones) y alta sensibilidad respecto a la formulación de los prompts.