¿Qué hace la cuantización de un modelo?
Opciones
- Entrena el modelo con más datos
- Cifra el archivo del modelo
- Añade capas al modelo
- Guarda los pesos (y a veces las activaciones) en números de menor precisión, como enteros de 8 bits, para reducir el tamaño y acelerar la inferencia, con una posible pequeña pérdida de exactitud (Opción correcta)
Respuesta
Guarda los pesos (y a veces las activaciones) en números de menor precisión, como enteros de 8 bits, para reducir el tamaño y acelerar la inferencia, con una posible pequeña pérdida de exactitud
Por qué
Los pesos suelen ser números en coma flotante de 32 bits. Convertirlos a enteros de 8 bits o a flotantes de 16 bits hace el modelo más pequeño, usa menos ancho de banda de memoria y puede ir más rápido en hardware adecuado.
La exactitud puede bajar un poco, así que mídela con tu propio conjunto de evaluación, en el hardware de destino, antes de lanzar.
La poda y la destilación son formas relacionadas de conseguir un modelo más pequeño.
Recuerda
Cuantización: más pequeño y rápido, comprueba la exactitud.