¿Qué penalización de regularización puede llevar algunos coeficientes de un modelo lineal exactamente a cero?
Opciones
- L2 (ridge)
- Las dos lo hacen por igual
- L1 (lasso) (Opción correcta)
- Ninguna: la regularización solo reduce los coeficientes, nunca los deja en cero
Respuesta
L1 (lasso)
Por qué
L1 suma a la pérdida la suma de los valores absolutos de los coeficientes. Su forma lleva las features débiles exactamente a cero, así que además sirve como selección de variables.
L2 suma la suma de los cuadrados. Encoge todos los coeficientes hacia cero, pero rara vez los deja exactamente en cero.
Elastic net mezcla las dos.
Recuerda
L1 da modelos dispersos; L2 encoge de forma suave.