¿Qué pasa cuando aumentas la fuerza de la penalización alpha en una regresión ridge?
Opciones
- Los coeficientes crecen, lo que baja el sesgo y sube la varianza
- Los coeficientes se encogen, lo que sube el sesgo y baja la varianza (Opción correcta)
- Algunos coeficientes pasan a ser exactamente cero
- Solo cambia el término independiente
Respuesta
Los coeficientes se encogen, lo que sube el sesgo y baja la varianza
Por qué
La penalización encarece los coeficientes grandes, así que el modelo se inclina hacia ajustes más simples. Un ajuste más simple sigue menos de cerca los datos de entrenamiento (más sesgo) pero cambia menos entre muestras (menos varianza).
Con demasiada penalización hay subajuste; con muy poca queda sobreajuste. Elige alpha con validación cruzada.
Ridge encoge los coeficientes pero no los lleva a cero; eso lo hace lasso (L1).
Recuerda
Más regularización: más sesgo, menos varianza.