No. 49
2026-09-06
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

CAG ve Uzun Bağlam: AI Modellerinin Bilgiyi Kullanma ve Hatırlama YöntemleriCAG vs Long Context: How AI Models Use and Remember Information

Türkçe altyazıyla izleWatch with Turkish subtitles

ÖzetSummary

Makale, büyük dil modellerine (LLM) harici bilgi kazandırmak için iki stratejiyi karşılaştırıyor. Bunlardan biri, tüm belgeleri bağlam penceresine sığdırmaya dayanan uzun bağlam istemidir. Diğeri ise Cache Augmented Generation (CAG) yöntemidir. CAG, transformer'ın anahtar-değer önbelleğini (KV cache) önceden hesaplayıp yeniden kullanır. Böylece tekrarlayan sorgular, aynı belgeleri yeniden okumadan yanıtlanır. Makale, CAG'ı sağlayıcı destekli pratik bir optimizasyon olarak konumlandırıyor. Bu yöntem, istem önbellekleme (prompt caching) üzerinden çalışır. Sabit bilgi tabanlarında çıkarım maliyetini %90'a kadar düşürebilir. Yanıt hızını ise 10-40 kat artırabilir.The article compares two strategies for injecting external knowledge into large language models (LLMs). One approach relies on long-context prompting, which involves fitting all documents into the context window. The other is Cache Augmented Generation (CAG), a method that pre-computes and reuses the transformer's key-value (KV) cache. This allows repeated queries to be answered without re-reading the same documents. The article positions CAG as a practical, provider-supported optimization that operates via prompt caching. It can reduce inference costs by up to 90% for static knowledge bases and improve response speeds by 10 to 40 times.

Neden ÖnemliWhy it matters

Bağlam pencereleri milyonlarca token'a doğru büyüdükçe, 'her şeyi yapıştır' yaklaşımı artık sürdürülemez hale geliyor. Özellikle İK sohbet botları veya ürün dokümanı soru-cevap gibi yüksek hacimli iş yüklerinde bu yöntem hem çok pahalı hem de yavaş. KV durumunu ne zaman yeniden hesaplayıp ne zaman yeniden kullanacağınızı anlamak, artık temel bir mimari karar. Bu karar, gecikme bütçelerini ve API harcamalarını doğrudan etkiliyor. LLM tabanlı özellikler geliştiren her ekip için pratik bir öncelik haline geliyor.As context windows expand toward millions of tokens, the 'paste everything' approach is becoming unsustainable. In high-volume workloads, such as HR chatbots or product documentation Q&A, this method is both prohibitively expensive and slow. Understanding when to recompute versus reuse KV states is now a fundamental architectural decision that directly impacts latency budgets and API spending. It has become a practical priority for every team developing LLM-based features.

Öne ÇıkanlarHighlights

  • Bağlam pencereleri, 2020'deki GPT-3'te yaklaşık 1K token'dan, 2024'teki Gemini 1.5 Pro'da 2M token'a kadar büyüdü. Bu artış, 'erişimi tamamen atla' stratejisini mümkün kıldı. Ancak her sorgu için token maliyeti, belge boyutuyla doğrusal olarak artıyor.Context windows have grown from approximately 1K tokens in GPT-3 (2020) to 2M tokens in Gemini 1.5 Pro (2024). This expansion enabled the 'skip retrieval entirely' strategy. However, the token cost per query increases linearly with document size.
  • CAG'ın üç aşamalı hattı (hazırla → KV cache'i önceden hesapla → cache'i yükle ve yanıtla) küçük veri kümelerinde 10 kat, büyük veri kümelerinde ise 40 kata varan hızlanma sağlıyor. Bu rakamlar, her seferinde tüm bağlamı yeniden işleme yapmaya kıyasla elde ediliyor.CAG's three-stage pipeline (prepare → pre-compute KV cache → load cache and respond) delivers 10x speedups on small datasets and up to 40x on large ones. These figures are achieved compared to reprocessing the entire context for every request.
  • Büyük LLM sağlayıcıları artık istem önbellekleme özelliğini yönetilen bir hizmet olarak sunuyor. Bu, önbellekten okunan token'lar için yaklaşık %90 indirimle 'hizmet olarak CAG' anlamına geliyor. Böylece özel önbellek altyapısı kurma ihtiyacı ortadan kalkıyor.Major LLM providers now offer prompt caching as a managed service. This effectively means 'CAG as a Service,' providing approximately 90% discounts on tokens read from the cache and eliminating the need to build custom caching infrastructure.

EleştiriCritical take

Yazı, uzun bağlam ile CAG arasındaki ikili çerçeveye aşırı yaslanıyor. RAG'ın hâlâ üstün olduğu durumları göz ardı ediyor. Örneğin, tek bir pencereye sığmayan çok büyük veya hızla değişen korpüslerde RAG daha etkili. Ayrıca 40 kat hızlanma iddiası için kaynak gösterilmemiş bir 'araştırma' rakamına atıfta bulunuyor. 'Ortada kaybolma' (lost-in-the-middle) sorununu da bir dipnot olarak ele alıyor. Oysa bu, birincil bir doğruluk riski. 200K token'lık bir bağlamın tam ortasında kritik politika maddeleriniz varsa, bu durum hayati önem taşır.The article leans too heavily on the binary framework of long context versus CAG, overlooking scenarios where RAG remains superior. For instance, RAG is more effective for very large or rapidly changing corpora that do not fit into a single window. Additionally, the claim of a 40x speedup cites an unsourced 'research' figure. The 'lost-in-the-middle' problem is also treated merely as a footnote, despite being a primary accuracy risk. If critical policy clauses are buried in the middle of a 200K-token context, this issue becomes vital.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue