Detección asistida de anomalías en tomografías torácicas 3D utilizando aprendizaje de máquinas con mecanismos de atención incorporados

Abstract

Los transformers son grandes modelos de Deep Learning (DL) ampliamente utilizados en la actualidad, la aplicación de estos, ya sea para tareas de procesamiento de lenguaje natural (NLP), visión por computadora (CV) u otras, es una tarea sustancial, que requiere grandes esfuerzos de investigación, planeación, ejecución y validación, tanto como requisitos concretos para su buen desempeño. La disposición de maquinaria adecuada y cantidades considerables de data son fundamentales, pues está demostrada la relación entre el entrenamiento por tiempos prolongados y con grandes cantidades de data a disposición, y la capacidad de generalización adquirida por estos modelos. Pero a pesar de estas dificultades, los transformers parecen ser una solución más que destacada en muchos ámbitos, dominando en la actualidad indiscutiblemente el campo de NLP y compitiendo codo a codo con modelos de redes convolucionales (CNN) en tareas de CV. En el marco de este trabajo, se plantea la creación de un sistema de detección de anomalías en tomografías torácicas en 3D, haciendo uso de un clasificador de aprendizaje automático que integra mecanismos de atención como elemento fundamental en su estructura. El enfoque inicial implica explorar el modelo Vision Transformer (ViT) y evaluar la transferencia de conocimiento desde el entrenamiento con imágenes naturales hacia el dominio de imágenes médicas. Este enfoque no solo se centra en abordar los desafíos técnicos relacionados con la implementación de modelos transformers en el ámbito médico, sino que también destaca la importancia de otros módulos esenciales, como la segmentación y la explicabilidad. La inclusión de estos componentes se orienta hacia la mejora integral de la detección de anomalías en tomografías torácicas 3D.

The transformers are large Deep Learning (DL) models widely used today. The application of these, whether for NLP, CV, or other tasks, is a substantial endeavor that demands significant efforts in research, planning, execution, and validation. The availability of suitable machinery and considerable amounts of data are crucial, as the relationship between prolonged training and large amounts of data availability has been demonstrated to enhance the generalization capacity of these models. Despite these challenges, transformers seem to be a gold-standard solution in various domains, currently indisputably dominating the NLP field and competing neck-and-neck with CNN models in CV tasks. Within the scope of this work, the creation of a 3D thoracic tomography anomaly detection system is proposed. This involves employing a machine learning classifier that integrates attention mechanisms as a fundamental element in its structure. The initial focus includes exploring the Vision Transformer (ViT) model and assessing knowledge transfer from training on natural images to the domain of medical images. This approach not only addresses technical challenges related to implementing transformer models in the medical domain but also emphasizes the significance of other essential modules, such as segmentation and explainability. The inclusion of these components aims at comprehensive enhancement in 3D thoracic tomography anomaly detection.