Welche Hardware braucht man für eine lokale KI?

Die Hardware hängt vom Modell, der Quantisierung, der Anzahl der Nutzer, der Kontextlänge und der gewünschten Geschwindigkeit ab. In der Regel werden RAM, GPU-/Beschleunigerspeicher, schneller Speicher, Netzwerk und Redundanz bewertet. Vor dem Kauf sollten Benchmarks mit der realen Last durchgeführt werden, statt eine Maschine nur nach dem Namen des Modells auszuwählen.