¿Cómo elegirías las métricas de evaluación de un modelo de detección de fraude?

Empieza por el negocio: ¿cuánto cuesta un fraude no detectado y cuánto una falsa alarma (tiempo de revisión, clientes molestos)?
El fraude es raro, así que olvida la exactitud. Usa precisión, recall y PR-AUC; el ROC-AUC es una vista secundaria.
Fija un punto de operación: por ejemplo, el mejor recall con una precisión que el equipo de revisión pueda manejar, o el umbral que minimiza el coste esperado.
Divide por tiempo, no al azar, y guarda el periodo más reciente como conjunto de prueba.
Revisa segmentos (clientes nuevos, países, importes) para encontrar puntos débiles ocultos.
Tras el lanzamiento, sigue las mismas métricas con los casos etiquetados, además del número de alertas por día.