GPT-6 Astra, Qwen Modelinin Ağırlıklarını Düzenleyerek Matematik Puanını Artırdı
6 Kasım 2026 · 2 dk okuma
Ayrıca şu dilde de yayımlandı हिन्दी, ไทย, 中文, Nederlands, Svenska
OpenAI tarafından geliştirilen GPT-6 Astra modeli, Qwen3.5-0.8B modelinin ağırlıklarında yaptığı düzenlemelerle matematik performansını önemli ölçüde artırdı. MIT CSAIL bünyesindeki dört araştırmacı tarafından yürütülen çalışmada, herhangi bir eğitim aşaması olmaksızın bir yapay zeka modelinin başka bir sinir ağının ağırlıklarını doğrudan okuyup yazması sağlandı.
Araştırmacılar, Ağırlık Alanı Programlama olarak adlandırılan bu teknikle, GPT-6 Astra'nın doğal dilde formüle edilmiş bir hedef doğrultusunda başka bir modelin ağırlıklarını değiştirmesini sağladı. Deneyler sırasında Astra, Codex CLI üzerinden çağrıldı ve tüm entegre araçları devre dışı bırakıldı. Modelin Python kodu yazmasına izin verildiğinde, bu kodlar araştırmacılar tarafından güvenli bir ortamda çalıştırıldı.
Qwen3.5-0.8B modelinin, özellikle düşünme modundayken üretim sürecini tamamlamasını engelleyen düşünme döngülerine girme eğilimi olduğu biliniyordu. Astra, Python kodu kullanarak Qwen'in ağırlıklarını inceledi ve GSM8K ile MATH veri kümelerinden alınan matematik egzersizlerini kullandı. Model, 50 geçişlik bir bütçeyle yanıtları ve ağırlıkları analiz ederek döngülerin kaynağını 24 katmandan 15 ve 19 numaralı katmanlarda tespit etti. Bu iki katmandaki ağırlıkların küçük bir kısmını düzelterek toplam 0,8 milyar ağırlıktan 131.072 tanesini değiştirdi.
Bu müdahale sonucunda, Qwen3.5-0.8B modelinin MATH-500 kıyaslama testindeki puanı yüzde 7,9'dan yüzde 48,1'e yükseldi. Araştırmacılar, bu durumun modelin matematik yeteneğini artırmaktan ziyade, sonuçlara ulaşmasını engelleyen parazit bir davranışı azalttığını belirtti. Benzer bir deney Gemma 3 270M modeli üzerinde denendiğinde, modelin başlangıçta döngüye girme oranı düşük olduğu için MATH-500 puanında belirgin bir iyileşme sağlanamadı.
Çalışma kapsamında ayrıca, Breakout ve Pong gibi retro video oyunlarını oynayan veya fizik simülatöründe araç süren küçük ölçekli yapay zeka ağları üzerinde de deneyler yapıldı. Araştırmacılar, bu yöntemin siber güvenlik alanında modellerdeki arka kapıları tespit etmek için kullanılabileceğini, ancak aynı zamanda gizli davranışlar eklemek için de bir risk oluşturabileceğini ifade etti.