Quel matériel faut-il pour une IA locale ?

Le matériel dépend du modèle, de la quantification, du nombre d'utilisateurs, de la longueur des contextes et de la vitesse souhaitée. En général, on évalue la RAM, la mémoire GPU/accélérateur, le stockage rapide, le réseau et la redondance. Avant l'achat, il est préférable de réaliser des tests de performance sur la charge réelle plutôt que de choisir une machine sur la seule base du nom du modèle.