Optimización de flujos de procesamiento para aplicación de medición basada en visión en tiempo real mediante aprendizaje profundo y NVIDIA DeepStream sobre GPU embebida

Abstract

Este trabajo aborda la optimización de flujos de procesamiento de visión por computador en tiempo real sobre GPU embebida, mediante el diseño, implementación y evaluación comparativa de dos configuraciones de pipeline: una implementación de referencia en Python con ejecución predominantemente en CPU, y un pipeline optimizado construido sobre el SDK NVIDIA DeepStream con ejecución íntegramente acelerada en GPU, desplegado sobre la plataforma embebida NVIDIA Jetson AGX Orin 64GB. Como caso de aplicación experimental se emplea la estimación de la temperatura del hollín en llamas laminares a partir de imágenes RGB mediante las arquitecturas U-Net y Attention U-Net, previamente entrenadas y validadas en trabajos anteriores del grupo de investigación. La construcción del pipeline optimizado se apoya en dos bloques metodológicos. Primero, se replica y actualiza un flujo de selección de precisión mediante TensorRT, comparando engines cuantizados en FP32, FP16 e INT8 bajo métricas de fidelidad numérica y de rendimiento. Los resultados confirman que INT8 introduce degradaciones espaciales incompatibles con una tarea de regresión térmica continua, mientras que FP16 preserva la fidelidad del modelo base con reducciones de latencia superiores a un orden de magnitud, por lo que se adopta como configuración única para el pipeline optimizado. Segundo, se diseña e implementa el pipeline DeepStream propiamente dicho, integrando decodificación de video por hardware, preprocesamiento acelerado en GPU y un postprocesamiento personalizado desarrollado íntegramente en kernels CUDA propios, incluyendo segmentación adaptativa por el método de Otsu y un renderizador de texto y geometría vectorial en GPU para el perfil de temperatura centerline, dado que la arquitectura estándar de DeepStream, orientada a casos de uso convencionales de detección y segmentación de objetos, no provee soporte nativo para este tipo de visualización científica. La evaluación comparativa entre ambos pipelines revela(...). This work addresses the optimization of real-time computer vision processing pipelines on embedded GPU, through the design, implementation, and comparative evaluation of two pipeline configurations: a reference implementation in Python with predominantly CPU-based execution, and an optimized pipeline built on the NVIDIA DeepStream SDK with execution fully accelerated on GPU, deployed on the NVIDIA Jetson AGX Orin 64GB embedded platform. As an experimental application case, the estimation of soot temperature in laminar flames from RGB images is employed, using the U-Net and Attention U-Net architectures, previously trained and validated in prior work by the research group. The construction of the optimized pipeline relies on two methodological blocks. First, a precision selection workflow via TensorRT is replicated and updated, comparing engines quantized in FP32, FP16, and INT8 under numerical fidelity and performance metrics. The results confirm that INT8 introduces spatial degradations incompatible with a continuous thermal regression task, whereas FP16 preserves the fidelity of the base model with latency reductions exceeding one order of magnitude, and is therefore adopted as the sole configuration for the optimized pipeline. Second, the DeepStream pipeline itself is designed and implemented, integrating hardware video decoding, GPU-accelerated preprocessing, and a custom postprocessing stage developed entirely in proprietary CUDA kernels, including adaptive segmentation via Otsu's method and a GPU-based text and vector geometry renderer for the centerline temperature profile, given that DeepStream's standard architecture, oriented toward conventional object detection and segmentation use cases, provides no native support for this type of scientific visualization. The comparative evaluation between both pipelines reveals(...).