---
title: Lokale Qwen 3.8 übertrifft frühere Ergebnisse durch Optimierung der Hardwarenutzung
url: https://www.elseif.net/de/lokale-qwen-38-ubertrifft-fruhere-ergebnisse-durch-optimierung-der-hardwarenutzung
published: 2026-11-08T09:07:18+00:00
language: de
section: Modelle
source: https://habr.com/ru/articles/1103784/?utm_campaign=1103784&utm_source=habrahabr&utm_medium=rss
organizations: Qwen, ISTA-DASLab
publisher: elseif
---

# Lokale Qwen 3.8 übertrifft frühere Ergebnisse durch Optimierung der Hardwarenutzung

Ein lokales Modell der Qwen 3.8 Reihe konnte seine Leistung bei Programmieraufgaben in Delphi steigern, nachdem Konfigurationsfehler bei der Nutzung von 16 Gigabyte Videospielspeicher und 62 Gigabyte Arbeitsspeicher behoben wurden.

In ersten Tests lag eine reduzierte Version, die Qwen 3.8 Coder IQ1_M, mit 16 von 20 gelösten Aufgaben hinter dem Cloud-Modell Claude Sonnet 5.5 zurück, welches 19 von 20 Aufgaben bewältigte. Die reduzierte Version nutzte eine starke Quantisierung von etwa 1,6 Bit pro Gewicht und verfügte nur über 256 von 512 Experten pro Schicht. Dies führte zu Fehlern bei komplexen Aufgaben, die mehrere Subsysteme betrafen, wie etwa verschachtelte FireDAC-Transaktionen oder SHA-256-Aktualisierungsprüfungen.

Zur Verbesserung wurde die vollständige Version Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS des ISTA-DASLab eingesetzt. Diese Version nutzt 2,84 Bit pro Gewicht und verfügt über 40,0 Gibibyte an Experten. Trotz des verfügbaren Arbeitsspeichers kam es zunächst zu Zeitüberschreitungen von 45 Minuten, da der Strata-Server standardmäßig versuchte, alle 40,0 Gibibyte im Systemspeicher zu sperren, während gleichzeitig 7,0 Gibibyte in den Videospielspeicher der RTX 5080 geladen wurden. Dies ließ nur 0,7 Gigabyte freien Arbeitsspeicher, wodurch der Dialog-Cache deaktiviert wurde und das Modell bei langen Sitzungen ständig 60.000 bis 100.000 Token erneut lesen musste.

Durch die Nutzung des Flags -resident-experts wurde die Sperrung im Arbeitsspeicher auf 33,5 Gibibyte reduziert, was 5,4 Gibibyte für den Sitzungs-Cache freigab. Zudem wurde ein Problem mit dem Token-Limit behoben: Zuvor führte die Einstellung answer_room dazu, dass interne Denkprozesse bei 6.144 Token abgebrochen wurden, um Platz für die Antwort zu lassen. Durch die Erhöhung des Limits auf 16.384 Token und die Deaktivierung von answer_room konnten vollständige Denkprozesse ohne Unterbrechung abgeschlossen werden.

Mit diesen Anpassungen erreichte das Modell eine Geschwindigkeit von 70 bis 81 Token pro Sekunde bei einem Kontext von 131.072 Token.