GPU Unlock Ada: aumenta il throughput delle RTX 4090

Se utilizzi una scheda video della serie NVIDIA Ada (come la RTX 4090 o la 4070 Ti SUPER) per carichi di lavoro intensivi, potresti non sapere che esiste un modo per ottimizzare significativamente le prestazioni di calcolo. Il progetto gpu-unlock-ada è un modulo del kernel Linux progettato specificamente per sovrascrivere la velocità di selezione dei tensor prima che il driver standard di NVIDIA venga inizializzato.

Prestazioni e throughput migliorati

L’obiettivo principale di questo modulo è aumentare il throughput di calcolo per i formati FP16 e BF16 con accumulo FP32. I test condotti sul repository mostrano risultati impressionanti:

• Sulla RTX 4090, il throughput delle istruzioni FP16/FP32 è passato da 160.4 a 320.4 TF/s.
• Per il formato BF16/FP32, il valore è salito da 159.7 a 320.2 TF/s.
• I test indicano un raddoppio quasi esatto delle prestazioni in questi specifici scenari.

È importante notare che queste ottimizzazioni non influenzano i tassi di base per INT8, dp4a e lo scalare FP32, che rimangono invariati.

Compatibilità e target supportati

Il modulo è progettato per identificare automaticamente il firmware e il payload per la RTX 4090 (10de:2684). Oltre a questa, il progetto include una lista di target sperimentali che richiedono flag specifiche, tra cui:

• RTX 4080 e 4080 SUPER
• RTX 4070 Ti e 4070 SUPER
• RTX 4060 e 4060 Ti
• Vari modelli di GPU per laptop (RTX 4090, 4060, 4050)

Sebbene i risultati siano stati verificati su diverse schede, i produttori di laptop e le diverse configurazioni di memoria possono influenzare la stabilità e l’efficacia del modulo.

Puoi consultare il repository per i dettagli tecnici e le guide di installazione.