El auge de la IA "On-Device" (Edge AI) y la NPU móvil

Durante años, usar IA en el móvil significaba enviar una señal de internet a un servidor en EE. UU., esperar la respuesta y descargarla. Hoy en día, tu teléfono móvil cuenta con un coprocesador dedicado llamado NPU (Neural Processing Unit).

Este chip está diseñado para realizar billones de operaciones matemáticas por segundo con un consumo de batería mínimo. La eficiencia en el rendimiento de la NPU local se relaciona directamente con el hardware y la compresión (cuantización) de los modelos mediante la siguiente proporción:

$$\text{Rendimiento de Inferencia} \propto \text{TOPS} \times \left(\frac{\text{Bits de Cuantización}}{8}\right)$$

Donde $\text{TOPS}$ representa Tera Operations Per Second (Billones de operaciones por segundo). Gracias a esto, tecnologías como Apple Intelligence y Gemini Nano en Android pueden resumir textos, transcribir audio y retocar fotos de manera local, instantánea y completamente offline.