¿Qué hace que un random forest generalice mejor que un único árbol de decisión profundo?
Opciones
- Construye los árboles uno tras otro, cada uno corrigiendo los errores del anterior
- Poda el árbol con descenso de gradiente
- Entrena muchos árboles con muestras bootstrap y subconjuntos aleatorios de features y promedia sus votos, lo que reduce la varianza (Opción correcta)
- Usa más datos de entrenamiento que un solo árbol
Respuesta
Entrena muchos árboles con muestras bootstrap y subconjuntos aleatorios de features y promedia sus votos, lo que reduce la varianza
Por qué
Los árboles de un random forest se entrenan de forma independiente, cada uno con una muestra bootstrap de las filas y con un subconjunto aleatorio de features en cada división. Sus errores están menos correlacionados, y al promediar se cancela buena parte del ruido.
Construir los árboles uno tras otro describe el boosting, no un random forest: allí los árboles se construyen en secuencia y cada uno aprende de los errores del conjunto hasta ese momento.
Un bosque conserva el sesgo bajo de los árboles profundos pero reduce su varianza.
Recuerda
Bosque = bagging + features aleatorias: menos varianza.