Preguntas de entrevista de Fundamentos de ML
40 preguntas de entrevista de Fundamentos de ML con respuestas, de nivel junior a intermedio.
Fundamentos
- ¿Qué diferencia hay entre los parámetros de un modelo y sus hiperparámetros?
- ¿Por qué se guarda un conjunto de prueba que el modelo nunca ve durante el entrenamiento?
- ¿Cuál de estas tareas es un problema de regresión?
- Tienes el historial de compras de 50.000 clientes pero ninguna etiqueta, y quieres encontrar grupos de clientes parecidos. ¿Qué tipo de aprendizaje es?
- Un modelo puntúa un 99 % con sus datos de entrenamiento y un 70 % con datos nuevos. ¿Cómo se llama esto?
- Una tabla lista casas con las columnas tamaño, habitaciones, barrio y precio. Quieres predecir el precio. ¿Cuál es la etiqueta?
Base
- El error de entrenamiento y el de validación son altos y parecidos entre sí. ¿Qué sugiere?
- Solo el 0,5 % de los pagos con tarjeta son fraude. Un modelo que siempre predice "no es fraude", ¿qué exactitud tiene?
- Un modelo de cribado busca una enfermedad grave, y no detectar a un paciente enfermo es mucho peor que una falsa alarma. ¿Qué métrica importa más?
- Un filtro de spam marca 100 correos y 80 de ellos son de verdad spam. En total, la bandeja tenía 200 correos de spam. ¿Cuáles son la precisión y el recall?
- Estandarizas todas las features con la media y la desviación típica de todo el conjunto de datos, y solo después lo divides en entrenamiento y prueba. ¿Qué está mal?
- ¿Qué penalización de regularización puede llevar algunos coeficientes de un modelo lineal exactamente a cero?
- ¿Qué hace una validación cruzada de 5 partes (5-fold)?
- Probaste 50 combinaciones de hiperparámetros y reportaste la mejor puntuación en el conjunto de prueba. ¿Cuál es el problema?
- ¿Por qué un único árbol de decisión muy profundo tiende a sobreajustar?
- ¿Qué hace que un random forest generalice mejor que un único árbol de decisión profundo?
- Explica el equilibrio sesgo-varianza y cómo reaccionas ante cada síntoma.
- Solo el 1 % de tus ejemplos son positivos. ¿Cuál es una forma sensata de empezar?
Intermedio
- Los positivos son muy raros (0,1 %). ¿Por qué el ROC-AUC puede verse excelente mientras el modelo es malo encontrándolos?
- Un clasificador binario tiene un ROC-AUC de 0,5. ¿Qué significa?
- Un modelo devuelve la probabilidad de fraude. Subes el umbral de decisión de 0,5 a 0,8. ¿Qué suele pasar?
- Un modelo de abandono de clientes tiene un AUC offline de 0,99 pero solo unos 0,6 en producción. Una de sus features es
days_since_account_closed. ¿Cuál es la causa más probable? - Debes predecir la demanda de la semana que viene con tres años de datos semanales. ¿Qué esquema de validación encaja?
- Cada paciente tiene muchas imágenes en el conjunto de datos. Un k-fold aleatorio da una exactitud de 0,97, pero en un hospital nuevo el modelo saca 0,80. ¿Qué deberías cambiar?
- ¿Qué pasa cuando aumentas la fuerza de la penalización
alphaen una regresión ridge? - ¿Qué modelo se ve más afectado si olvidas escalar features numéricas con rangos muy distintos?
- ¿Cómo construye su ensemble el gradient boosting?
- Un random forest coloca una columna de ID de cliente entre sus features más importantes con la importancia por impureza por defecto. ¿Qué comprobación es mejor?
- Eliges las 20 features más correlacionadas con la etiqueta usando todo el conjunto de datos y luego haces validación cruzada con esas 20. ¿Por qué la puntuación es demasiado optimista?
- ¿Qué hace
class_weight="balanced"en clasificadores de scikit-learn comoLogisticRegression? - Un modelo dice "fraude, 90 % de probabilidad", pero solo el 70 % de esos casos son fraude de verdad. ¿Cómo se llama este problema?
- ¿Cómo elegirías las métricas de evaluación de un modelo de detección de fraude?
Avanzado
- La app de una tienda empieza a atraer a un público más joven y el modelo empeora, aunque la relación entre la edad y la compra no ha cambiado. ¿Qué tipo de deriva es?
- Las etiquetas de las predicciones de tu modelo llegan unos 60 días después. ¿Cómo lo monitorizas mientras tanto?
- Una feature se calcula con SQL para entrenar pero se reimplementa en el código de servicio, y los valores online difieren un poco. ¿Cómo se llama esto y cuál es el mejor arreglo?
- Un modelo de ranking nuevo mejora la métrica offline, pero el click-through baja en el test A/B online. ¿Cuál es la explicación más plausible?
- ¿Cuándo y por qué usas validación cruzada anidada?
- Un fraude no detectado cuesta 50 y una falsa alarma cuesta 1. Si las probabilidades del modelo están bien calibradas, ¿a partir de qué probabilidad predicha de fraude deberías empezar a marcar pagos?
- Un modelo tenía una gran puntuación en validación cruzada pero decepciona en producción. ¿Qué revisas?
- Un prestamista entrena un modelo de impago solo con préstamos pasados que fueron aprobados, y luego lo usa para puntuar a todos los solicitantes. ¿Cuál es el riesgo principal?