Hyperformer: transformer hiperbólico para pronóstico de series de tiempo a corto y mediano plazo

Abstract

El pronóstico de series de tiempo es un área de las matemáticas utilizada para estimar los posibles valores siguientes de una secuencia. Esta secuencia puede representar cualquier variable medible que cambie a través del tiempo. Para el pronóstico, el modelo debe utilizar una cantidad finita de valores del presente y del pasado donde su conjunto es llamado registro histórico. Los modelos de aprendizaje profundo para pronóstico de series de tiempo se caracterizan por simplificar el proceso de pronóstico al abstraerse de la complejidad de la serie y del modelo. Hyperformer es un modelo de secuencia a secuencia basada en la arquitectura Transformer que utiliza el espacio hiperbólico para explotar características jerárquicas latentes en series de tiempo. El Hyperformer utiliza el mecanismo de atención, la capacidad de ser un modelo autosupervisado, y el espacio hiperbólico para reducir el error de predicción en la tarea de pronóstico de series de tiempo. De esta manera, la arquitectura propuesta se destaca principalmente para pronósticos de ventanas cortas y medianas en compararción con otros modelos como Transformer y Autoformer