Domina los Árboles de Decisión en Regresión y Afina tus Modelos Predictivos

Hoy te traigo un post que cambiará tu perspectiva sobre los árboles de decisión.

Si creías que su utilidad se limitaba al mundo de la clasificación, abre bien los ojos porque vamos a sumergirnos en su aplicación para predecir variables continuas.

Prepárate para descubrir cómo afinar tus modelos predictivos usando esta poderosa herramienta. ¡Empecemos!

¿Qué Cambia en los Árboles de Decisión para Regresión?

Para empezar, necesitas saber que cuando trabajamos con una variable objetivo continua estamos ante un problema de regresión.

Aquí, diametralmente opuesto al DecisionTreeClassifier, utilizamos el DecisionTreeRegressor de Seklearn.

Entendamos juntos cómo sacarle el máximo jugo a esta función.

En regresión, decimos adiós a métricas de impureza como la entropía o el índice de Gini que has manejado en clasificación.

En su lugar, te presento el MSE (Mean Square Error), que va a ser tu nuevo mejor amigo.

¿Te suena raro?

Tranquilo, lo vas a entender a la perfección.

MSE: La Métrica Estrella en Regresión

Hablemos claro.

En regresión, tu modelo predice valores continuos, no etiquetas discretas, y por eso el MSE entra en juego.

Es como el director de una orquesta que mide cuán bien se tocan las notas en comparación con la partitura original.

Esta desviación entre lo predicho y lo real se mide perfectamente con MSE, ya que toma en cuenta todas las diferencias, las eleva al cuadrado y calcula el promedio.

Entendiendo el Porqué del MSE en Lugar de la Entropía

La entropía y el índice de Gini se basaban en proporciones de clases,

¿recuerdas?

Bueno, eso no funciona aquí porque los valores continuos rara vez se repiten exactamente igual.

Por eso el MSE es el indicado: contempla la distribución normal de los datos, no la discreta.

Un Ejemplo Clara: La No Idoneidad del MSE para Clasificación

Ahora te pregunto,

¿por qué el MSE no se usa para clasificación?

Porque asume que los inputs varían en un rango infinito y en clasificación, esos valores están limitados.

Imagina que clasificas garbanzos: ¿pueden pesar infinito? No, claro. Así que, en clasificación, el MSE no reflejaría adecuadamente la precisión de tu modelo.

Fórmula del MSE: Tu Herramienta de Precisión

Deja que te guíe dentro de la fórmula del MSE: tomas la diferencia entre el valor predicho y el real, elevas al cuadrado y promedias con el número de observaciones.

¿Suena complicado?

En realidad, todo se reduce a cuadrar las diferencias y hacer cuentas.

En Scikit-Learn hay otras opciones como Absolute Error, pero el Mean Square Error es el rey, y es el que tú vas a usar para afinar tus modelos.

Control de Sobreajuste en Árboles de Regresión con MaxDepth

Atención aquí, porque si hay una pesadilla en modelado predictivo, es el sobreajuste. ¿

Te suena el término?

Ese problema aparece cuando el modelo se aprende los datos de entrenamiento de memoria, pero fracasa estrepitosamente con nuevos datos.

Por eso en regresión también vigilamos el MaxDepth, la máxima profundidad del árbol.

MaxDepth y su Impacto en el Ajuste del Modelo

Visualiza esto....

Con MaxDepth igual a 3 tu modelo tiene un ajuste no lineal bastante general.

Pero si te emocionas y pones MaxDepth a 5,

¡pum! Overfitting.

Estás aprendiendo hasta el ruido.

Y no queremos eso

¿verdad?

Así que controla la profundidad para que tu modelo generalice bien.

Poniendo en Práctica los Árboles de Decisión en Regresión

¿Listo para poner manos a la obra?

Toma el Decision Tree Regressor y ponle un MaxDepth con cabeza.

Ajusta tus datos de entrenamiento y evalúa el R² y el MSE.

Ahora, serás capaz de ver qué tan bien está funcionando tu modelo.

R² y MSE: Tus Indicadores de Rendimiento

Estos dos te darán la foto completa de tu modelo.

Mientras el R² te dirá qué tan adecuadas son tus predicciones en términos de variabilidad, el MSE te mostrará la precisión en cuanto a la cantidad de error.

¿Te ha gustado este viaje a través de los árboles de decisión en regresión?

Espero que sí.

¡Hasta la próxima, modelador estelar!

Si quieres conocer otros artículos parecidos a Domina los Árboles de Decisión en Regresión y Afina tus Modelos Predictivos puedes visitar la categoría Árboles de decisión.