¿Qué hardware hace falta para una IA local?

El hardware depende del modelo, la cuantización, el número de usuarios, la longitud de los contextos y la velocidad deseada. Por lo general se evalúan la RAM, la memoria de la GPU o el acelerador, el almacenamiento rápido, la red y la redundancia. Antes de comprar es preferible hacer pruebas de rendimiento con la carga real en lugar de elegir una máquina solo por el nombre del modelo.