Technique de compression qui réduit la précision des nombres internes d'un modèle (ses paramètres) pour qu'il occupe moins de mémoire et calcule plus vite. Bien appliquée, elle divise la taille du modèle par deux à quatre avec une perte de qualité souvent imperceptible.
Faites tourner un assistant IA directement sur un ordinateur portable pour traiter des documents confidentiels : c'est la version quantifiée du modèle qui rend cela possible sans serveur.
C'est ce qui permet d'exécuter de bons modèles sur du matériel ordinaire, donc en local et sans envoyer vos données à un tiers : un vrai argument pour les secteurs sensibles.
Situez-vous sur l'échelle des 5 niveaux en 13 questions, gratuitement.
Tester mon niveau →