Estudio de las funciones de pérdida Lp en redes neuronales profundas

Abstract

Esta memoria estudia la familia de funciones de pérdida Lp en el entrenamiento de redes neuronales profundas, situándola dentro del marco de la teoría estadística de la decisión de Wald y Berger, donde cada valor de p induce un estimador de Bayes distinto: la media (p = 2), la mediana (p = 1) y la moda (p → 0). A partir de esta caracterización teórica y del análisis de robustez mediante funciones de influencia y continuidad Lipschitz, se evalúa experimentalmente el desempeño de las pérdidas Lp con p ∈ {2, 1, 0,5, 0,25, 0} mediante simulaciones de Monte Carlo (K = 100 réplicas) en dos escenarios: regresión con contaminación de outliers y clasificación binaria con ruido simétrico de etiquetas, comparando el desempeño mediante MSE y accuracy, respectivamente, y contrastando las diferencias con pruebas de Wilcoxon pareadas. Los resultados muestran que, en regresión, L2 es óptima en ausencia de contaminación, pero se deteriora más de cien veces con solo un 10 % de outliers, mientras que las pérdidas no convexas L0,5 y L0,25 permanecen prácticamente estables, sugiriendo una región de robustez estadísticamente indistinguible para p ∈ (0,25, 0,5). En clasificación, se confirma la jerarquía de robustez L0 > L0,5 > L1 > L2 para niveles de ruido moderados, pero se identifica un fenómeno no anticipado en la literatura: dicha jerarquía se invierte cuando el ruido de etiquetas supera el 50 %, ya que las pérdidas con menor p terminan ajustándose a la señal mayoritaria, que en ese régimen es la incorrecta. En conjunto, estos resultados confirman que la elección de la función de pérdida constituye una decisión estadística con consecuencias directas sobre la robustez y la eficiencia de los modelos entrenados bajo datos potencialmente contaminados.

This thesis studies the family of Lp loss functions in the training of deep neural networks, situating it within the framework of statistical decision theory developed by Wald and Berger, where each value of p induces a different Bayes estimator: the mean (p = 2), the median (p = 1), and the mode (p → 0). Building on this theoretical characterization, together with a robustness analysis based on influence functions and Lipschitz continuity, the performance of the Lp losses for p ∈ {2, 1, 0.5, 0.25, 0} is evaluated experimentally through Monte Carlo simulations (K = 100 replications) under two scenarios: regression with outlier contamination and binary classification with symmetric label noise, comparing performance via MSE and accuracy, respectively, and assessing the differences using paired Wilcoxon tests. The results show that, in regression, L2 is optimal in the absence of contamination but deteriorates by more than a hundredfold with only 10% outlier contamination, while the non-convex losses L0.5 and L0.25 remain practically stable, revealing a region of statistically indistinguishable robustness for p ∈ (0.25, 0.5). In classification, the robustness hierarchy L0 > L0.5 > L1 > L2 is confirmed for moderate noise levels, but a phenomenon not anticipated in the reviewed literature is identified: this hierarchy reverses once label noise exceeds 50%, as losses with smaller p end up fitting the majority signal, which in that regime is the incorrect one. Taken together, these results confirm that the choice of loss function constitutes a statistical decision with direct consequences for the robustness and efficiency of models trained on potentially contaminated data.