¿Cómo construye su ensemble el gradient boosting?
Opciones
- Añade árboles pequeños de uno en uno, cada uno entrenado para corregir los errores del ensemble actual (Opción correcta)
- Entrena un árbol y lo poda con validación cruzada
- Entrena árboles profundos de forma independiente con muestras bootstrap y los promedia
- Elige el mejor de muchos árboles aleatorios
Respuesta
Añade árboles pequeños de uno en uno, cada uno entrenado para corregir los errores del ensemble actual
Por qué
El boosting es secuencial. Cada árbol nuevo y poco profundo ajusta el gradiente de la pérdida (más o menos, los errores que quedan) de lo construido hasta ahora, y su aportación se escala con una tasa de aprendizaje.
Eso reduce sobre todo el sesgo, mientras que un random forest reduce sobre todo la varianza.
Demasiados árboles o una tasa de aprendizaje demasiado alta pueden sobreajustar, así que usa parada temprana con un conjunto de validación.
Recuerda
Boosting: secuencial, cada árbol corrige los últimos errores.