2024-2025 marque le déploiement massif des NPUs (Neural Processing Units) intégrés dans les machines pro : Apple Silicon (M3, M4), Snapdragon X Elite, et la nouvelle génération Intel Core Ultra. Tous embarquent désormais 30 à 50 TOPS dédiés à l’inférence IA. Que peut-on vraiment en faire ?
Ce qui devient possible sans cloud
Sur une machine récente avec NPU, vous faites tourner localement : un modèle de transcription audio (Whisper), un modèle de vision pour la détection d’objets, un LLM compact (7-13B paramètres type Llama 3 ou Phi-3) pour des tâches simples. C’est suffisant pour 30 à 40% des cas d’usage IA d’un poste de travail.
Les vrais bénéfices : confidentialité et latence
Le NPU n’est pas plus puissant qu’un H100. Mais sur un poste de travail, il offre : zéro latence réseau, confidentialité totale (les données ne sortent pas de la machine), et fonctionnement hors ligne. Pour des secteurs réglementés (santé, juridique, défense), c’est révolutionnaire.
Les limites actuelles
Les modèles frontières (Claude, GPT-4) ne tournent pas sur NPU. Pour des tâches complexes (raisonnement, génération de code, analyse de gros documents), il faut toujours le cloud. Le NPU s’occupe des couches « périphériques » (transcription, OCR, résumé local), pas du cerveau principal.
L’architecture pragmatique en 2025
Une architecture hybride : le NPU pré-traite (transcription, anonymisation, classification rapide), l’API cloud prend le relai pour les tâches lourdes. Vous économisez 30 à 60% de coût API et vous gagnez en respect de la vie privée. C’est la direction qui se généralise sur les déploiements en entreprise.
