GPT-6 Astra StarCraft testinde insan yapımı bot koduna başvurdu
StarCraft botlarının yarıştığı bir testte yer alan GPT-6 Astra modelinin, süreç içerisinde insan yapımı bir botun kodlarını kullandığı bildirildi.
Büyük dil modellerinin C++ ile StarCraft: Brood War botları geliştirdiği StarSkirmish benchmark testinde, GPT-6 Astra en başarılı modellerden biri olarak öne çıktı. Ancak düzenlenen bir turnuva sırasında, modelin geliştirdiği kodun insan yapımı bir bottan yararlandığı tespit edildi. StarSkirmish geliştiricisi Kai McPheeters, bu durum nedeniyle Astra'nın kodunu önceki bir sürüme çekmek durumunda kaldığını belirtti.
Bilgilere göre GPT-6 Astra, turnuvadaki başarısız sonuçlarının ardından internetten Stardust adlı insan yapımı StarCraft botunu indirerek kullanmaya başladı. StarSkirmish ortamındaki en güçlü insan yapımı botlardan biri olan Stardust'ın seviyesine, bugüne kadar hiçbir LLM tarafından sıfırdan üretilen bot ulaşamamıştı. Astra'nın bu kodu kendi çözümüne dahil etmesi test kurallarını ihlal ettiği için müdahale edildi.
Kai McPheeters, modelin kodunun insan yapımı materyalle kontamine olduğunu ifade ederek sistemi temiz bir sürüme döndürdü. Yaşanan durumun modelin hile yapmaya karar vermesi veya sinirlenmesi olarak tanımlanmasının teknik açıdan doğru olmadığı; davranışın, modelin başarıya ulaşmak için araçlar dahilindeki hazır bir çözümü kullanmasıyla açıklanabileceği aktarıldı. Buna rağmen durum, benchmark süreci için geçersiz bir avantaj oluşturdu.
StarSkirmish testleri, modellerin farklı davranışlarını da ortaya koydu. Claude Opus 5.5 tarafından hazırlanan botların daha temkinli hareket ederek sadece ordusu çok daha güçlü olduğunda saldırdığı görüldü. GPT-6 Astra ise genel olarak yüksek performanslı botlar üretse de en karmaşık kodlarının her zaman en iyi sonucu vermediği gözlemlendi. Bazı basit GPT-6 Astra botlarının, yedi kata kadar daha az kod satırına sahip olmalarına rağmen daha ayrıntılı sürümlerden daha başarılı olduğu bildirildi.