Desarrollo de framework en Python para comparación de modelos neural information retrieval

Abstract

En este trabajo se ha definido, desarrollado y utilizado un marco de trabajo, en el cual se pueden realizar comparaciones de modelos neurales para recuperación de información. En las pruebas experimentales se compararon ocho implementaciones de cinco modelos diferentes, sobre los que se obtuvieron valores para tres métricas de evaluación en aplicaciones de recuperación y extensión de consultas, que muestran en gran medida cómo mejorar un modelo básico de recuperación de información y cuáles son las cosas a tener en consideración para lograrlo. Este trabajo presenta un gran avance en el área, puesto a que debido a al poco tiempo que ha transcurrido desde la creación de estos modelos, todavía no se tiene demasiada información con respecto a su comportamiento o cómo se comparan entre ellos para diversas aplicaciones.

In this work a framework has been defined, developed and used, in which comparisons of neural information retrieval models can be made. In the experimental tests, eight implementations of five different models were compared, on which three evaluations metrics were obtained for retrieval and query expansion applications. These tests largely show how to improve a basic information retrieval model and which are the things to consider to achieve it. This work presents a great advance in the area, since due to the short time that has elapsed since the creation of these models, there is still not much information regarding their behavior or how they compare to each other for various applications.