OpenAI, yapay zekâ sistemlerinin güvenliğini sınamak için kullandığı yeni dahili aracını ayrıntılarıyla açıkladı. GPT-Red, hedef modellere sürekli olarak saldırı komutları gönderiyor, aldığı yanıtları değerlendiriyor ve başarılı sonuçlara yaklaşana kadar kullandığı yöntemi kendi başına değiştiriyor.
Sistem, insan güvenlik ekiplerinin elle gerçekleştirebileceğinden çok daha fazla saldırı senaryosunu deneyebiliyor. Başarısız girişimleri eleyen GPT-Red, işe yarayan yöntemleri geliştirerek özellikle prompt injection saldırılarına karşı modellerin zayıf noktalarını kullanıcıları etkilemeden önce ortaya çıkarmayı hedefliyor.
GPT-Red Modellerin Savunmasını Güçlendiriyor
GPT-Red, self-play pekiştirmeli öğrenme yöntemiyle eğitildi. Bu süreçte sistem saldırgan rolünü üstlenirken farklı savunmacı modeller saldırılara direnmeye ve asıl görevlerini tamamlamaya çalışıyor. Başarılı saldırılar ile güçlü savunmalar ödüllendiriliyor. Savunmacı modeller geliştikçe GPT-Red de daha karmaşık ve etkili yöntemler üretmek zorunda kalıyor.
OpenAI’ın açıkladığı sonuçlara göre sistem, daha önce görmediği test senaryolarının yüzde 84’ünde başarılı olurken insan kırmızı takım uzmanlarında bu oran yüzde 13 seviyesinde kaldı. Ayrıca GPT-5.1’de yüzde 95’in üzerinde başarı gösteren sahte düşünce zinciri saldırılarının GPT-5.6’ya karşı başarı oranı yüzde 10’un altına indirildi.
Araç yalnızca sohbet modellerini değil, bağımsız hareket edebilen yapay zekâ ajanlarını da hedef aldı. Testlerde bir otomat ajanının fiyatlarını değiştirmeyi ve siparişleri iptal etmeyi başaran GPT-Red, komut satırında çalışan kodlama ajanlarının hassas verileri dışarı aktarmasına da neden olabildi. Bu örnekler, otonom sistemlerdeki güvenlik risklerinin kapsamını gösteriyor.
GPT-Red genel kullanıma sunulmayacak ve OpenAI bünyesinde dağıtımdaki modellerden ayrı tutulacak. Önceki sürümlerinin GPT-5.3’ten itibaren eğitim süreçlerinde kullanıldığı belirtiliyor. Sistem çok turlu konuşma saldırıları ile görsel prompt injection yöntemlerinde hâlâ sınırlı kaldığı için bu alanlardaki güvenlik testleri insan uzmanlar tarafından sürdürülecek.
Android 17 QPR1 Beta 7 Yayınlandı: İşte Yenilikler
YouTube Sosyal Medya Bağımlılığına Sebep Olmadım Diyor
Mechrevo 15 Air Oyunlara İncelik Katacak
Snapdragon 8 Elite Gen 5 Xperia 1 VIII İçin Hayal Kırıklığı mı?