Quali hardware servono per una AI locale?

L'hardware dipende dal modello, dalla quantizzazione, dal numero di utenti, dalla lunghezza dei contesti e dalla velocità desiderata. In genere si valutano RAM, memoria GPU/acceleratore, storage veloce, rete e ridondanza. Prima dell'acquisto è preferibile eseguire benchmark sul carico reale invece di scegliere una macchina solo in base al nome del modello.