Evaluación de modelos de inferencia ligeros para procesamiento de imágenes satelitales a bordo: Benchmarking y optimización en plataformas CubeSat

Abstract

El procesamiento de imágenes satelitales a bordo permite reducir el volumen de información transmitida a Tierra y acelerar la identificación de datos de interés. Sin embargo, su implementación en plataformas CubeSat está condicionada por restricciones de potencia y capacidad computacional. En este contexto, esta memoria evalúa alternativas de inferencia para clasificación binaria de imágenes entre las clases “wildfire” y “nowildfire”, considerando conjuntamente su desempeño predictivo y costo computacional. Para establecer una referencia común, se realizó un benchmark en CPU de seis modelos y se seleccionaron una CNN ligera, MobileNetV2 y ResNet50. Estos modelos fueron exportados a ONNX y optimizados mediante TensorRT en precisiones FP32, FP16 e INT8 cuando fue técnicamente viable. Las variantes resultantes se evaluaron sobre 6299 imágenes válidas del test split, se caracterizaron en una RTX 3060 Laptop y se desplegaron en una NVIDIA Jetson Xavier NX bajo perfiles nominales de 10 W y 15 W. A partir de estas evaluaciones, FP16 se identificó como la optimización más consistente, ya que conservó prácticamente el desempeño predictivo de FP32 y, al mismo tiempo, redujo latencia y energía por inferencia en las tres arquitecturas. Por su parte, INT8 produjo beneficios adicionales en la CNN ligera, aunque no fue posible obtener variantes utilizables para MobileNetV2 y ResNet50. En la Xavier NX, CNN INT8 presentó la menor latencia y energía incremental entre las variantes evaluadas. En contraste, ResNet50 FP16 alcanzó el mayor desempeño predictivo global, mientras que CNN FP16 obtuvo el mayor recall para “wildfire”. Asimismo, las mediciones de potencia se mantuvieron dentro del margen considerado en el escenario CubeSat de referencia. En conjunto, los resultados muestran (...).

On-board satellite image processing can reduce the amount of information transmitted to ground stations and accelerate the identification of relevant data. However, its implementation on CubeSat platforms is constrained by limited power and computing resources. In this context, this thesis evaluates inference alternatives for binary image classification between the “wildfire” and “nowildfire” classes, jointly considering predictive performance and computational cost. To establish a common reference, a CPU benchmark was conducted on six models, from which a lightweight CNN, MobileNetV2, and ResNet50 were selected. These models were exported to ONNX and optimized with TensorRT using FP32, FP16, and INT8 precision when technically feasible. The resulting variants were evaluated on 6299 valid images from the test split, characterized on an RTX 3060 Laptop GPU, and deployed on an NVIDIA Jetson Xavier NX under nominal 10 W and 15 W power profiles. Based on these evaluations, FP16 was identified as the most consistent optimization, as it preserved almost all of the FP32 predictive performance while reducing latency and energy per inference across the three architectures. INT8 provided additional benefits for the lightweight CNN, although usable variants could not be obtained for MobileNetV2 and ResNet50. On the Xavier NX, the INT8 CNN achieved the lowest latency and incremental energy among the evaluated variants. In contrast, ResNet50 FP16 attained the highest overall predictive performance, while CNN FP16 achieved the highest recall for “wildfire”. In addition, the measured power values remained within the margin considered in the reference CubeSat scenario. Overall, the results show (...).