Yapay zeka, yazılım güvenlik açıklarını %74 oranında doğru yamalayamıyorAI fails to correctly patch software vulnerabilities in 74% of cases

ÖzetSummary

1Password'ın Off-By-1-Labs ekibi, Claude ve OpenAI'nin Codex modelini son zamanlarda açıklanan altı açık kaynak CVE'si üzerinde test etti. 6.080 üretilen yamanın yalnızca %26'sı gerçekten kullanılabilirken, %53,9'u ya tamamen başarısız oldu ya da yeni hatalar ortaya çıkardı.

Neden ÖnemliWhy it matters

Kurumsal şirketler, büyük dil modellerini (LLM) güvenlik araçlarına hızla entegre ediyor. Ancak bu çalışma, tespit ile giderme arasındaki tehlikeli boşluğu sayısal olarak ortaya koyuyor. 'FLAWED' (kusurlu) başarısızlık modu, doğru görünse de kırılgan güvenlik mantığı barındıran veya uygulama davranışını sessizce değiştiren yamaları ifade ediyor. Bu tür yamalar, insan fark etmeden otomatik boru hatları aracılığıyla yayılabilir. Bu durum, yama seçiminde ve zamanlamasında insan yargısının şimdilik vazgeçilmez olduğunu bir kez daha kanıtlıyor.

Öne ÇıkanlarHighlights

• 6.080 yapay zeka destekli yamanın yalnızca %26'sı kullanılabilir; %53,9'u başarısız oldu veya yeni hatalar ekledi
• Araştırmacılar, işlevsel görünse de kırılgan güvenlik mekanizmaları barındıran yamalar için 'FLAWED' (Fix-Like Artifacts With Embedded Defects) terimini ortaya attı
• 1Password, bağımsız tekrarlanabilirlik için FLAWED değerlendirme çerçevesini GitHub'da açık kaynak yaptı

EleştiriCritical take

Örneklem dar; yalnızca altı CVE ve iki model içeriyor. Yazarlar, bunun bir karşılaştırmalı kıyaslama olmadığını açıkça belirtiyor. Bu nedenle, %74'lük genel bir başarısızlık oranını tüm LLM yama süreçlerine genellemek erken olur. Ayrıca çalışma, güvenlik aracı satan 1Password'tan geldiğinden, 'yapay zeka henüz hazır değil' anlatısı hafif bir ticari şüpheyle okunmalı.