Preguntas de entrevista de MLOps y despliegue
40 preguntas de entrevista de MLOps y despliegue con respuestas, de nivel junior a intermedio.
Fundamentos
- ¿Qué es MLOps?
- ¿Por qué un modelo entrenado no es el final de un proyecto de ML?
- ¿Qué significa "servir" (serving) un modelo?
- Una tienda envía cada noche a cada cliente un correo con productos recomendados. ¿Qué tipo de inferencia encaja mejor?
- ¿Por qué los equipos versionan sus modelos y conjuntos de datos, y no solo su código?
- ¿Qué es un registro de modelos (model registry)?
Base
- Solo una persona puede reconstruir el modelo de producción, ejecutando a mano un notebook largo en el orden correcto. ¿Cuál es el arreglo principal?
- ¿Qué señal de deriva de datos se puede monitorizar en producción incluso antes de que lleguen las etiquetas?
- ¿Cómo puedes lanzar una nueva versión de un modelo con poco riesgo?
- ¿Qué es un despliegue en sombra (shadow deployment) de un modelo?
- Una versión nueva del modelo está en vivo y la tasa de errores y la latencia del servicio se han disparado. ¿Cuál es la acción segura más rápida?
- ¿Qué debe registrar el seguimiento de experimentos de cada ejecución de entrenamiento?
- ¿Por qué un modelo se suele empaquetar en un contenedor para servirlo?
- Un servidor de modelos agrupa varias peticiones entrantes en un lote antes de ejecutar el modelo en una GPU. ¿Cuál es el compromiso?
- ¿Qué problema resuelve principalmente un feature store?
- Un servicio de modelo devuelve HTTP 200 en todas las peticiones, pero un fallo hace que prediga casi el mismo valor para todos. ¿Qué monitorización lo detectaría?
- ¿Cuál es una forma sensata de decidir cuándo reentrenar un modelo?
- ¿Cuáles son las etapas de un pipeline de ML en producción?
Intermedio
- Para construir un conjunto de entrenamiento, cada fila se une al último valor de una feature
customer_total_spend, tomado de una tabla que se actualiza a diario. El modelo es excelente offline y malo online. ¿Cuál es el problema probable? - ¿Cómo se puede comprobar de forma sistemática si hay training-serving skew en un sistema en vivo?
- Con millones de filas al día, un test estadístico de deriva marca casi todas las features como "significativamente distintas" cada día, con p-valores minúsculos. ¿Qué enfoque es mejor?
- Necesitas evidencia real de que un nuevo recomendador aumenta las compras. ¿Qué tipo de despliegue la da?
- El pipeline de entrenamiento se ejecuta en CI con el mismo código y datos que el mes pasado, pero las métricas cambiaron. ¿Qué compruebas primero?
- La latencia media de un servicio de modelo es buena, pero los usuarios se quejan de respuestas lentas. ¿Qué miras?
- Un servicio de modelo con GPU tiene un tráfico con picos. Escalar según el uso de CPU reacciona mal. ¿Qué señal es mejor para el autoescalado?
- ¿Qué hace la cuantización de un modelo?
- Un equipo anterior en el flujo de datos renombra una columna. El pipeline rellena la feature con nulos sin avisar, y la calidad del modelo se hunde semanas después. ¿Qué lo habría detectado a tiempo?
- Un paso del pipeline falló a medias y se volvió a ejecutar, y ahora la tabla de entrenamiento tiene filas duplicadas. ¿Qué principio de diseño lo evita?
- ¿Qué debería ejecutar la integración continua de un proyecto de ML, además de los tests unitarios?
- Un auditor pregunta qué datos y qué código produjeron el modelo que estaba en producción el 3 de marzo. ¿Qué necesitas haber guardado?
- Las mismas entradas llegan una y otra vez a un servicio de predicción, y cada llamada es lenta. ¿Cuál es una forma barata de acelerarlo?
- La métrica online de un modelo empeora poco a poco durante varias semanas. ¿Cómo investigas?
Avanzado
- Un recomendador se reentrena cada semana con los clics. Con los meses, el catálogo que muestra se va estrechando cada vez más. ¿Qué ocurre?
- ¿Qué debe comprobar un canary automatizado antes de aumentar la parte de tráfico de un modelo nuevo?
- El equipo responsable de la feature "usuario activo" cambia su definición, y la calidad de tu modelo baja sin que hayas cambiado nada. ¿Qué ayuda a evitarlo?
- Un trabajo de reentrenamiento semanal automático entrenó con datos corrompidos por un fallo de origen, y el peor modelo salió a producción. ¿Qué salvaguarda faltaba?
- Un modelo de fraude necesita la feature "número de transacciones de esta tarjeta en los últimos 5 minutos", pero las features se calculan en un trabajo por lotes diario. ¿Por qué no basta?
- La calidad global del modelo es estable, pero los tickets de soporte muestran que funciona mal para los clientes de una región. ¿Qué práctica de monitorización lo habría mostrado?
- Diseña cómo desplegarías y monitorizarías un modelo de puntuación de fraude que debe responder en menos de 100 ms.
- ¿Cómo decides entre inferencia por lotes, online y en streaming para un caso de uso nuevo?