¿Cómo evaluar modelos de aprendizaje automático? Modelos de regresión

Si no has visto mi post anterior sobre el tema, donde explico las métricas de evaluación para aprendizaje de clasificación, te invito a pasarte por allá, ya que hablo de gatos y perros (no suena lógico jaja pero en verdad vas a aprender un montón, te dejo el link aquí 

Ahora en este post vamos a hablar de ¿Cómo evaluar modelos de aprendizaje automático? pero sobre la regresión. Así que empecemos 

En este post vas a encontrar muchas fórmulas, pero no te asustes, recuerda que entender el funcionamiento es necesario, pero no memorizar formulas (ya tus modelos lo hacen por ti) lo importante es aprender como funciona y su proceso 

Yo mientras veo todas las fórmulas 

GIF

Ahora si podemos empezar

El contenido de este post

  • MSE
  • RMSE
  • MAE
  • R al cuadrado
  • R ajustado
  • ¿Por qué debería elegir R² ajustado sobre R²?

Error al cuadrado medio: 

MSE o Error al cuadrado medio es una de las métricas más preferidas para las tareas de regresión. Es simplemente el promedio de la diferencia al cuadrado entre el valor objetivo y el valor predicho por el modelo de regresión. A medida que cuadra las diferencias, penaliza incluso un pequeño error que conduce a una sobreestimación de cuán malo es el modelo. Se prefiere más que otras métricas porque es diferenciable y, por lo tanto, se puede optimizar mejor

MSE FORMULA

Un MAE pequeño sugiere que el modelo es excelente para la predicción, mientras que un MAE grande sugiere que su modelo puede tener problemas en ciertas áreas. Un MAE de 0 significa que su modelo es un predictor perfecto de las salidas (pero esto casi nunca sucederá).

RMSE (error cuadrático medio)

Representa la desviación estándar de la muestra de las diferencias entre los valores pronosticados y los valores observados (llamados residuos). Matemáticamente, se calcula usando esta fórmula:

RMSE FORMULA
VALORES PREDICHOS

RMSE es la métrica más utilizada para tareas de regresión y es la raíz cuadrada de la diferencia cuadrática promedio entre el valor objetivo y el valor predicho por el modelo. Se prefiere más en algunos casos porque los errores se cuadran primero antes del promedio, lo que representa una penalización alta en errores grandes. Esto implica que RMSE es útil cuando no se desean errores grandes.

RMSE formula

Error absoluto medio: 

MAE es la diferencia absoluta entre el valor objetivo y el valor predicho por el modelo. El MAE es más robusto para los valores atípicos y no penaliza los errores tan extremadamente como el mse. MAE es una puntuación lineal que significa que todas las diferencias individuales se ponderan por igual. No es adecuado para aplicaciones en las que desea prestar más atención a los valores atípicos.

Por ejemplo, la diferencia entre 10 y 0 será el doble de la diferencia entre 5 y 0. Matemáticamente, se calcula usando esta fórmula:

MAE formula

Entonces, ¿cuál elegir y por qué?

Bueno, es fácil de entender e interpretar MAE porque toma directamente el promedio de compensaciones, mientras que RMSE penaliza la diferencia más alta que MAE.


Comprendamos la afirmación anterior con los dos ejemplos:


Caso 1: Valores reales = [2,4,6,8], Valores predichos = [4,6,8,10]
Caso 2: Valores reales = [2,4,6 , 8], Valores predichos = [4,6,8,12]

MAE para el caso 1 = 2.0, RMSE para el caso 1 = 2.0
MAE para el caso 2 = 2.5, RMSE para el caso 2 = 2.65

Del ejemplo anterior, podemos ver que RMSE penaliza la predicción del último valor más fuertemente que MAE. En general, RMSE será mayor o igual que MAE. El único caso en el que es igual a MAE es cuando todas las diferencias son iguales o cero (cierto para el caso 1 donde la diferencia entre real y pronosticado es 2 para todas las observaciones).

Comparación RMSE vs MAE

Similitudes :

  • Expresar el error promedio de predicción del modelo en las mismas unidades de la variable de interés.
  • Puede variar de 0 a ∞ y son indiferentes a la dirección de los errores.
  • Los valores más bajos son mejores.
  • MAE y RMSE tienen las mismas unidades que los valores objetivo
  • Son indiferentes a la dirección de los errores (tomamos un valor absoluto o cuadramos cada residual)
  • Cuanto menor sea el valor métrico, mejor

Diferencia :

  • Tomando la raíz cuadrada antes de promediar, RMSE otorga un peso relativamente alto a los errores grandes, por lo que RMSE debería ser útil cuando los errores grandes no son deseables
  • RMSE otorga un peso relativamente alto a los errores grandes debido al hecho de que el residuo se eleva al cuadrado antes del promedio
  • Por otro lado, promediar valores absolutos hace que MAE sea más robusto para los valores atípicos
  • RMSE es diferenciable (que es correcto, pero no realmente importante para una métrica de evaluación)

R al cuadrado (R²) y R al cuadrado ajustado

R cuadrado y ajustado R cuadrado se utilizan a menudo con fines explicativos y explica qué tan bien las variables independientes seleccionadas explican la variabilidad en sus variables dependientes. 

Error de R²: 

El coeficiente de determinación o R² es otra medida utilizada para evaluar el rendimiento de un modelo de regresión. La métrica nos ayuda a comparar nuestro modelo actual con una línea de base constante y nos dice cuánto es mejor nuestro modelo. La línea de base constante se elige tomando la media de los datos y dibujando una línea en la media. R² es una puntuación libre de escala que implica que no importa si los valores son demasiado grandes o demasiado pequeños, R² siempre será menor o igual a 1.

r al cuadrado formula

R² ajustado: 

ajustado representa el mismo significado que R² pero es una mejora de él. R² sufre el problema de que los puntajes mejoran en términos crecientes a pesar de que el modelo no está mejorando, lo que puede confundir al investigador. R² ajustado siempre es menor que R² ya que se ajusta a los predictores crecientes y solo muestra una mejora si hay una mejora real.

r2 ajustado formula

¿Por qué debería elegir R² ajustado sobre R²?

Hay algunos problemas con R² normal que se resuelven con R² ajustado. Un R² ajustado considerará la mejora marginal agregada por un término adicional en su modelo. Por lo tanto, aumentará si agrega los términos útiles y disminuirá si agrega predictores menos útiles. Sin embargo, R² aumenta con los términos crecientes a pesar de que el modelo no está mejorando realmente.

En esta publicación, descubrimos las diversas métricas utilizadas en el análisis de regresión

Y esto fue todo del post de ¿Cómo evaluar modelos de aprendizaje automático? Modelos de regresión. Gracias por leerme ❤️

Documentación para codear las métricas de regresión vistas en este post aqui 


👏 Suscribete en mi canal de Youtube (me harías muy feliz)

🙈 Apoyame para seguir creando contenido y accede a mentorías personalizadas aquí (necesito pagar recibos y la comida de mis gatos)

❤️ Este post viene con una infografía super clara, donde resumo, cada formula, su código de python y en scikit learn, en que caso usar cada una, etc. Todo esto podrás recibirlo, si me apoyas invitandome a un café aquí o siendo parte de mi patreon

Gracias por leerme 💜