Comparación de modelos de lenguaje natural para búsquedas en observatorios virtuales

Abstract

Este trabajo presenta el desarrollo y evaluación de VOAI-Search, una plataforma para consultas en lenguaje natural sobre Observatorios Virtuales astronómicos. Se implementó una arquitectura con frontend interactivo, backend de coordinación, base de datos, motor de búsqueda compatible con protocolos SIAP de IVOA y dos modelos LLM: GPT-4o y DeepSeek-R1. El objetivo fue comparar su desempeño en recuperación de imágenes astronómicas, evaluando precisión, tiempo de respuesta, recursos y sostenibilidad. Se realizaron 21 consultas por modelo agrupadas temáticamente, midiendo métricas como Recall@1, Recall@3, MRR, tokens, costo y huella de carbono. DeepSeek-R1 logró mayor Recall@3 (86 % vs. 71 %), menor costo e impacto ambiental, mientras GPT-4o fue más rápido y usó menos tokens. La evaluación demuestra fortalezas diferenciadas que mejoran el acceso semántico a datos astronómicos.

This work presents the development and evaluation of VOAI-Search, a web platform enabling natural language queries on astronomical Virtual Observatories using state-of-the-art LLMs. The architecture includes an interactive frontend, coordinating backend, database, search engine compatible with IVOA’s SIAP protocols, and two LLMs: GPT-4o and DeepSeek-R1. The main goal was to compare their performance in retrieving astronomical images, assessing precision, response time, resource consumption, and sustainability. Twenty-one thematic queries per model were executed, measuring Recall@1, Recall@3, MRR, tokens, cost, and carbon footprint. DeepSeek-R1 achieved higher Recall@3 (86 % vs. 71 %), lower cost and environmental impact, while GPT-4o was faster and used fewer tokens. The evaluation shows distinct strengths enhancing semantic access to large astronomical datasets.