Pairs Trading con reinforcement learning y predicción LSTM: un enfoque de escalamiento dinámico aplicado a sectores del S&P 500

Abstract

La presente memoria aborda el tema pairs trading en mercados financieros, una estrategia de arbitraje estadístico que busca aprovechar desviaciones temporales entre activos relacionados. En su formulación clásica, esta estrategia suele emplear reglas fijas de entrada y salida; sin embargo, su desempeño puede verse afectado por cambios en la volatilidad, quiebres en la relación entre activos y falta de adaptación ante nuevas condiciones de mercado. En este contexto, surge la necesidad de evaluar enfoques más flexibles que permitan decidir no solo cuándo operar, sino también cuánto capital asignar y cuándo limitar pérdidas. El objetivo de esta investigación es desarrollar y evaluar un modelo de pairs trading basado en Reinforcement Learning, aplicado a sectores del S&P 500, con el fin de comparar su rentabilidad y riesgo frente a una estrategia clásica. Además, se analiza cómo distintas frecuencias de reentrenamiento mensual, bimestral y trimestral afectan el desempeño del modelo, buscando determinar si existe una periodicidad óptima común para todos los sectores o si esta depende de las características propias de cada uno. La metodología considera precios diarios ajustados de acciones del S&P 500, agrupadas por sectores GICS. Para la formación de pares se aplica cointegración mediante los test de Engle-Granger y Johansen, construyendo un spread y su respectivo z-score. El modelo propuesto integra un oráculo LSTM para estimar la probabilidad de divergencia del par, optimización de hiperparámetros mediante Optuna y un agente PPO con espacio de acción continuo, lo que permite aplicar dynamic scaling sobre la exposición al par. La evaluación se realiza mediante un esquema walk-forward, donde en cada rolling se rehace la selección de pares, el entrenamiento del LSTM, la optimización y el entrenamiento del agente. Los resultados muestran que el agente basado en Reinforcement Learning supera al benchmark clásico de Gatev en los once sectores evaluados, considerando la mejor frecuencia de reentrenamiento de cada sector. Mientras el modelo propuesto obtiene retornos positivos en todos los sectores, la estrategia clásica presenta retornos negativos en la mayoría de los casos. Asimismo, se observa que la frecuencia de reentrenamiento tiene(...).