Yapay zeka, yazılım güvenlik açıklarını %74 oranında doğru yamalayamıyorAI fails to correctly patch software vulnerabilities in 74% of cases

ÖzetSummary

1Password'ın Off-By-1-Labs ekibi, Claude ve OpenAI'nin Codex modelini son zamanlarda açıklanan altı açık kaynak CVE'si üzerinde test etti. 6.080 üretilen yamanın yalnızca %26'sı gerçekten kullanılabilirken, %53,9'u ya tamamen başarısız oldu ya da yeni hatalar ortaya çıkardı.1Password's Off-By-1-Labs team tested Claude and OpenAI's Codex model on six recently disclosed open-source CVEs. Of the 6,080 generated patches, only 26% were truly usable, while 53.9% either failed completely or introduced new bugs.

Neden ÖnemliWhy it matters

Kurumsal şirketler, büyük dil modellerini (LLM) güvenlik araçlarına hızla entegre ediyor. Ancak bu çalışma, tespit ile giderme arasındaki tehlikeli boşluğu sayısal olarak ortaya koyuyor. 'FLAWED' (kusurlu) başarısızlık modu, doğru görünse de kırılgan güvenlik mantığı barındıran veya uygulama davranışını sessizce değiştiren yamaları ifade ediyor. Bu tür yamalar, insan fark etmeden otomatik boru hatları aracılığıyla yayılabilir. Bu durum, yama seçiminde ve zamanlamasında insan yargısının şimdilik vazgeçilmez olduğunu bir kez daha kanıtlıyor.Enterprises are rapidly integrating large language models (LLMs) into security tools. However, this study numerically highlights the dangerous gap between detection and remediation. The 'FLAWED' failure mode refers to patches that appear correct but contain fragile security logic or silently alter application behavior. Such patches can propagate through automated pipelines without human notice. This situation once again proves that human judgment remains indispensable in patch selection and timing.

Öne ÇıkanlarHighlights

• 6.080 yapay zeka destekli yamanın yalnızca %26'sı kullanılabilir; %53,9'u başarısız oldu veya yeni hatalar eklediOnly 26% of the 6,080 AI-generated patches were usable; 53.9% failed or added new bugs
• Araştırmacılar, işlevsel görünse de kırılgan güvenlik mekanizmaları barındıran yamalar için 'FLAWED' (Fix-Like Artifacts With Embedded Defects) terimini ortaya attıResearchers coined the term 'FLAWED' (Fix-Like Artifacts With Embedded Defects) for patches that appear functional but contain fragile security mechanisms
• 1Password, bağımsız tekrarlanabilirlik için FLAWED değerlendirme çerçevesini GitHub'da açık kaynak yaptı1Password open-sourced the FLAWED evaluation framework on GitHub for independent reproducibility

EleştiriCritical take

Örneklem dar; yalnızca altı CVE ve iki model içeriyor. Yazarlar, bunun bir karşılaştırmalı kıyaslama olmadığını açıkça belirtiyor. Bu nedenle, %74'lük genel bir başarısızlık oranını tüm LLM yama süreçlerine genellemek erken olur. Ayrıca çalışma, güvenlik aracı satan 1Password'tan geldiğinden, 'yapay zeka henüz hazır değil' anlatısı hafif bir ticari şüpheyle okunmalı.The sample is narrow, containing only six CVEs and two models. The authors explicitly state that this is not a comparative benchmark. Therefore, generalizing the 74% overall failure rate to all LLM patching processes is premature. Additionally, since the study comes from 1Password, a security tool vendor, the narrative that 'AI is not yet ready' should be read with a slight commercial suspicion.