Ajuste fino de parámetros de un modelo LLM multimodal para oncología de precisión

Abstract

Este trabajo presenta la adaptación y fine-tuning de un modelo LLM multimodal pre-entrenado aplicado en el contexto de oncología de precisión. El objetivo principal es generar automáticamente informes microscópicos a partir de Whole Slide Images (WSI) de cáncer de mama, proporcionando una herramienta de asistencia para el patólogo que optimice el flujo de trabajo y reduzca la carga cognitiva de una tarea diagnóstica crítica. El documento detalla desde la revisión del estado del arte de los modelos multimodales, tanto de propósito general como específicos para el dominio medico, hasta la implementación técnica, la validación del modelo generado y la evaluación de sus resultados. Finalmente se discuten las conclusiones sobre el diseño y el desempeño del modelo en comparación con los estándares actuales y benchmarks relevantes. This work presents the adaptation and fine-tuning of a pre-trained multimodal large language model (LLM) applied in the context of precision oncology. The primary objective is to automatically generate microscopic reports from breast cancer Whole Slide Images (WSIs), providing an assistive tool for pathologists that optimizes workflow and reduces the cognitive burden associated with a critical diagnostic task. The document details the process from a review of the state of the art in multimodal models, both general-purpose and domain-specific to the medical field, through to the technical implementation, model validation, and evaluation of the obtained results. Finally, conclusions are discussed regarding the model’s design and performance in comparison with current standards and relevant benchmarks.