Outils & Écosystème

Faire tourner un modèle d'IA sur votre machine : la règle que personne ne donne

Une carte graphique puissante peut être plus lente qu'un portable modeste. La raison tient en une règle que tous les guides omettent : chaque token exige de relire l'intégralité des poids du modèle, donc la vitesse vaut la bande passante divisée par la taille. De quoi estimer ce que votre machine actuelle sait faire, avant tout achat.