¿Por qué un único árbol de decisión muy profundo tiende a sobreajustar?
Opciones
- No puede dividir con features numéricas
- Puede seguir dividiendo hasta ajustar incluso el ruido del conjunto de entrenamiento, así que pequeños cambios en los datos cambian mucho el árbol (Opción correcta)
- Los árboles necesitan features escaladas y los datos sin escalar los confunden
- Los árboles siempre son demasiado superficiales para aprender patrones reales
Respuesta
Puede seguir dividiendo hasta ajustar incluso el ruido del conjunto de entrenamiento, así que pequeños cambios en los datos cambian mucho el árbol
Por qué
Sin límites (profundidad máxima, mínimo de muestras por hoja, poda), un árbol sigue dividiendo hasta que cada hoja es casi pura, aunque solo memorice ruido.
Eso da sesgo bajo y varianza alta: un conjunto de entrenamiento algo distinto produce un árbol muy distinto.
Limitar la profundidad o promediar muchos árboles (un bosque) reduce la varianza.
Recuerda
Los árboles profundos memorizan: sesgo bajo, varianza alta.