Qwen 3.8 locale supera i limiti di memoria per il coding in Delphi
8 novembre 2026 · 2 min di lettura
Una versione locale del modello Qwen 3.8 ha ottenuto risultati migliorati in test di programmazione per il linguaggio Delphi, superando le prestazioni di versioni precedenti eseguite sulla stessa workstation. L'hardware utilizzato comprende una scheda RTX 5080 con 16 gigabyte di memoria video e 62 gigabyte di memoria operativa.
In test iniziali, la versione Qwen 3.8 Coder IQ1_M ha risolto 16 compiti su 20, risultando inferiore a Claude Sonnet 5.5, che ne ha completati 19 su 20. Le difficoltà sono emerse in compiti complessi che richiedevano la gestione di più sottosistemi, come le transazioni FireDAC in ELN-03, il ricalcolo dell'interfaccia del tribometro in TRB-06, l'impacchettamento degli archivi di progetto in XRC-06 e la verifica degli aggiornamenti SHA-256 in XRC-09.
Il calo di prestazioni della versione IQ1_M è stato attribuito a una quantizzazione aggressiva di circa 1,6 bit per peso e alla rimozione della metà degli esperti instradabili, ridotti da 512 a 256 per ogni livello, al fine di comprimere il modello in 23,4 gigabyte.
Per risolvere il problema, è stata adottata la versione Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS fornita dal laboratorio ISTA-DASLab, che dispone di 512 esperti e una quantizzazione di 2,84 bit per peso, occupando 40,0 gibibyte. Per far risiedere questi dati nei 16 gigabyte di memoria video e 62 gigabyte di memoria operativa, è stata configurata la gestione della memoria del motore Strata.
È stato rimosso il blocco totale dei 40,0 gibibyte in memoria di sistema, utilizzando l'opzione resident-experts per bloccare solo 33,5 gibibyte, poiché 7,0 gibibyte vengono caricati direttamente nella RTX 5080. Questo ha liberato spazio per 5,4 gigabyte di cache delle sessioni, eliminando la necessità di rileggere tra 60.000 e 100.000 token di cronologia a ogni passaggio.
Ulteriori ottimizzazioni hanno riguardato il limite di token. Il limite precedente di 8192 token, combinato con l'impostazione answer_room, causava l'interruzione dei ragionamenti interni del modello al raggiungimento di 6144 token. Aumentando il limite a 16.384 token e disattivando answer_room, il modello ha smesso di interrompere i processi di pensiero. Con questa configurazione, il modello mantiene una velocità di 70 a 81 token al secondo con un contesto di 131.072 token.