Comparación de rendimiento de grandes modelos de lenguaje (LLMs) en clasificación de documentación de valor regulatorio o legal

Abstract

Asesorame SpA es una empresa que se encarga de revisar miles de documentos de carácter legal utilizando LLMs, debido a la cantidad de documentos y la importancia de los resultados siempre es importante mantener actualizado tanto las estrategias de prompts como los últimos modelos disponibles. Tras identificar los problemas más importantes para los clientes, se propone la construcción de un benchmark que permita evaluar el desempeño de distintos modelos de LLMs en diversas tareas sobre documentación legal. El benchmark construido permitió evaluar distintos modelos de manera general y por cada tipo de tarea, permitiendo identificar los mejores modelos para cada tipo de tarea, como también para cada tarea en particular.

Asesorame SpA is an enterprise specializing in the review of thousands of legal documents with the aid of LLMs. Given the extensive volume of documents and the paramount importance of the results, maintaining updated prompting strategies and access to the latest available models is consistently crucial. Upon identifying the most significant challenges for clients, the establishment of a benchmark is proposed to assess the performance of various LLM models across diverse legal documentation tasks. The developed benchmark enabled the evaluation of different models, both overall and by task type, thereby facilitating the identification of the most suitable models for each task category, as well as for each particular task.