Türkçe altyazı Turkish subtitles
0:00 Bir sohbet botuyla etkileşime girdiğinizde, durup "düşünüyorum" gibi bir şey söylediğini görmüş olmanız muhtemeldir. Chances are when you've interacted with a chat bot, you've seen it pause and say something like, thinking. 0:07 Peki, orada tam olarak ne oluyor? Well, what's going on there? 0:09 Bu kanalda, büyük dil modellerinin (LLM) nasıl eğitildiği hakkında çok konuştuk. Well, we've talked a lot on this channel about how LLMs actually get trained. 0:16 Bir dönüştürücü mimarisi var ve devasa bir veri kümesine besleniyor. There's a transformer architecture and it's fed a massive corpus of data. 0:23 Yani buraya giren veri miktarı muazzam. So there's absolute ton of data going into here. 0:27 Bir sonraki token tahmini yoluyla. Through next token prediction. 0:29 Dili öğreniyor, akıl yürütmeyi öğreniyor, olguları öğreniyor, muhtemelen kodlamayı da öğreniyor. It learns language, it learns reasoning, it learns facts, probably learns how to code. 0:34 Ve tüm bunlar, modelin ağırlıklarına sıkıştırılıyor. And all of this gets compressed into the weights of the model. 0:42 Yıllardır, bu modeli daha akıllı hale getirmek için izlenen yol haritası ölçek büyütmek oldu. And for years, the playbook for making that model smarter has been scale up. 0:50 Bu, daha fazla parametre anlamına geliyor. That means more parameters. 0:53 Bu, ... That means... 0:54 Daha fazla eğitim verisi, ön eğitim sırasında daha fazla işlem (flop) ve ölçeklenme kuralları bunun işe yaradığını gösterdi. More training data, more flops during pre-training and the scaling laws have shown that this holds up. 1:02 Şimdi, bu yaklaşıma eğitim zamanı hesaplama denir ve bu bir maliyettir. Now, this approach is called train time compute, and it is a cost. 1:13 Sabit maliyettir. Fix is the fixed cost. 1:16 Bir modeli eğitmek için aylarca hesaplama süresi ve muhtemelen milyonlarca dolar harcarsınız ve ardından o ağırlıklar dondurulur; o noktadan itibaren biri modelden bir e-postayı özetlemesini veya ileri seviye bir fizik problemini çözmesini istese bile, aynı şeyi yapar. You spend months of computing time and probably millions of dollars training a model and then those weights are frozen, from that point on, whether somebody asks the model to summarize an email or to solve a gradual level of physics problem, it does the same thing. 1:38 Ağ üzerinden token token ileri geçiş. One forwards pass through the network token by token. 1:45 Ve her token bir tür taahhüttür, çünkü model istatistiksel olarak en olası bir sonraki tokeni seçer, onu yayar ve o noktada bir nevi kilitlenir, çünkü geri dönüp yeniden düşünme imkânı yoktur. Bu, her zaman ileriye doğru ilerleyen bir ileri geçiştir. And every token is something of a commitment because the model picks the statistically most likely next token, it emits it, and at that point it's kind of locked in because there's no going back to reconsider. It's a forward pass which is well always moving forward. 2:02 Yani eğer o ilk token yanıtı yanlış bir yola sokarsa, model sadece onunla devam eder ve bu aslında LLM'lerin bu kadar ikna edici şekilde halüsinasyon görmesinin nedenlerinden biridir; ama eğer modele bir hesaplama bütçesi verirsek ne olur? So if that first token sends the response down the wrong path, the model just keeps going with it, and that's actually one of the reasons LLMs can hallucinate so convincingly, but what if we give the model a compute budget. 2:21 Yani bu sefer modele bir bütçe vereceğiz ve özellikle bu bütçe eğitim zamanında değil, model çalışırken çıkarım zamanında harcanır. So this time we're going to give the model a budget and specifically This budget is not spent at training time, but instead it's spent at inference time when the model runs. 2:35 Ve o bütçeyi nasıl harcamaya karar verir. And it gets to decide how to spend that budget. 2:38 Peki, bu test zamanı hesaplamadır. Well, that is test time compute. 2:42 O düşünme mesajının tüm amacı budur. That's what that thinking message is all about. 2:45 Ve son birkaç yılda ortaya çıkan araştırmalar, bunun model boyutu kadar önemli bir ölçekleme ekseni olabileceğini gösteriyor. And the research coming out over the last couple of years shows this might be just as important a scaling axis as model size. 2:55 Peki o düşünme süresi boyunca ne oluyor? So what's actually going on during that thinking time? 2:59 Birkaç farklı mekanizma var ve aslında bunlar birleştirilebilir. Well, there are a few distinct mechanisms and actually they can be combined. 3:03 Bunların en görünür olanı, düz zincir-üzerinde-düşünme. And the most visible one of these is just chain of thought. 3:09 Şimdi, istem vererek, modele adım adım düşünmesini söyleyerek herkes zincir-üzerinde-düşünmeyi tetikleyebilir. Now anybody can invoke chain of though just by prompting it, by telling the model to think step by step. 3:16 Ama daha yeni bir model sınıfı var ve bu modellere akıl yürütme modelleri deniyor. But there's a newer class of models and those models are called reasoning models. 3:23 Bu akıl yürütme modelleri, bunu otomatik olarak yapabilmek için pekiştirmeli öğrenme ile eğitildi. And these reasoning models have been trained through reinforcement learning to do this automatically. 3:29 Yani pekiştirmeli öğrenme süreci, zincir-üzerinde-düşünmeyi modelin kendisine işliyor. So the RL process bakes chain of thought into the model itself. 3:35 Pekiştirmeli öğrenme eğitimi sırasında model, ara akıl yürütme token'ları üretmenin, yani bir problemi parçalara ayırıp mantığı adım adım işlemesinin, genellikle daha yüksek ödül getirdiğini öğreniyor. Now, during RL training, the model learns that producing intermediate reasoning tokens, which is breaking down a problem and working through the logic step-by-step, that tends to get a higher reward. 3:46 Bu yüzden bunu daha sık yapıyor. So it does it more often. 3:48 Temel olarak, bu süreçte "düşünme token'ları" ürettiğini söyleyebiliriz. Essentially, we can say that it is generating what we'll call thinking tokens as it goes through this process. 3:59 Düşünme token'ları, asıl yanıt üretilmeden önce oluşturulur. Thinking tokens are generated before the actual response. 4:02 Peki düşünme token'larının ne kadar özel bir yanı var? Now what's special about thinking tokens? 4:05 İlk bakışta, pek bir şey. On the face of it, not much. 4:07 Hâlâ gerçek çıktı token'larıdır, gerçek hesaplama gücü harcarlar, ama o ileri geçişin ne için kullanıldığını değiştirirler. They're still real output tokens, they cost real compute, but they change what that forward pass is being used for. 4:17 Yani hatırlayın, standart bir yanıtta model ilk kelimeden itibaren nihai cevap token'larına taahhüt eder, ama düşünme token'larında bu erken taahhütler sadece bir çalışma defteri gibidir. So remember in a standard response the model is committing to final answer tokens from the very first word, but with thinking tokens, those kind of early commitments are really just like a scratch pack of work. 4:29 Model bir yaklaşımı keşfedebilir. The model can explore an approach. 4:31 "Ah, bu işe yaramıyor" diyebilir ve sonra farklı bir açıdan deneyebilir. It can realize, ah, this is not working and then try a different angle. 4:35 Kullanıcıya döndürülen asıl cevabın tek bir kelimesine taahhüt etmeden önce tüm bunlar gerçekleşir. All before it commits to a single word of the actual answer that's returned to the user. 4:41 Yani, kullanıcıya verdiğimiz cevaba doğrudan gitmek yerine, artık ara bir adımımız var. So instead of going straight from a query straight to the answer that we give back to the users, we now have an intermediate step. 4:52 Sorgudan başlıyoruz. We go from query. 4:55 Düşünce tokenlarının üretildiği akıl yürütme aşamasından geçiyoruz ve ardından cevaba ulaşıyoruz. Reasoning that's where the thinking tokens are generated and then we go to the answer. 5:00 İşte buna düşünce zinciri denir. So that's chain of thought. 5:02 Şimdi ikinci mekanizma, yani numara iki, arama. Now the second mechanism number two is search. 5:08 Standart çıkarımda model açgözlü veya neredeyse açgözlü kodlama yapar ve bahsettiğim tek ve bitmiş ileri geçiş budur. So in standard inference the model does greedy or near greedy decoding and that one and done forward pass is what I'm talking about there. 5:18 En olası sonraki tokeni seçer ve devam eder; ancak test zamanı hesaplama ile daha çok bir ağaç aramasına benzer bir şey yapabilirsiniz. So it picks the most likely next token and then it just it moves on but with test time compute You can do something more like a tree search. 5:30 Ağaç aramasında model bir akıl yürütme zinciri başlatır ve ardından dallanır. Now the model in a tree, search starts a reasoning chain and then it branches. 5:37 Ağaçtan farklı dalları denemeye çalışır. So it tries different branches kind of off the tree. 5:42 Bir noktada bu dallardan birini seçip o yolda ilerlemesi gerekir. And at some point it needs to pick one of these branches to go down. 5:48 Bunu yapmak için, devam etmeden önce en umut verici dalın hangisi olduğunu puanlamak üzere bir doğrulayıcı kullanır. So to do that, it uses a verifier to score which branch is most promising before continuing down it. 5:56 Üçüncü mekanizma ise öz tutarlılıktır. Then the third mechanism is self-consistency. 6:02 Aynı problemi çok yüksek bir sıcaklıkta n kez çalıştırırsınız, böylece n farklı akıl yürütme yolu elde edersiniz. This is to run the same problem n times at a really high temperature, so you get n different reasoning paths. 6:10 Son cevabın çoğunluk oylamasını yaparsınız; örneğin 10 bağımsız zincirin 7'si aynı cevaba ulaştıysa. Then you take a majority vote on the final answer so if it says let's say 7 out of 10 independent chains have landed on the same answer. 6:20 Elinizde oldukça iyi bir güven derecesi vardır. You've got some pretty decent confidence. 6:23 Bu durumda doğrulayıcı modele gerek yoktur, çünkü modelin kendi çıktılarındaki istatistiksel dağılımı sinyal olarak kullanır. Now there's no verifier model needed in this case because it's using the statistical distribution of the model's own outputs as the signal. 6:31 Net olmak gerekirse, bu üç mekanizmanın hepsi bir şey takas ediyor. Now to be clear all three of these mechanisms are trading something. 6:39 Hesaplama gücünü doğruluk için takas ediyorlar. They are trading compute for accuracy. 6:43 Sorgu başına daha fazla flop var, ancak iyi bir yanıt alma olasılığı da artıyor. There are more flops per query but there's also a probability of getting a good response. 6:52 Bu gerçekten işe yarıyor mu? Does this actually work? 6:54 Google DeepMind'ın 2024 tarihli bir makalesi, test zamanı hesaplama kaynaklarının kendi ölçeklenme yasasına tabi olduğunu ortaya koydu. Well, a 2024 paper out of Google DeepMind on scaling test time compute found that test time compute follows its own scaling law. 7:05 Nitekim bunu grafik olarak çizebiliriz. In fact, we can draw it. 7:07 Eksenleri akıl yürütme testlerindeki performans olarak düşündüğümüzde, performans aslında yavaş, pürüzsüz ve belirgin bir şekilde artıyor. So if we think of the axes here being performance on reasoning benchmarks, well, the performance actually goes up slowly and smoothly and Digitably. 7:21 Çıkarım hesaplama kaynaklarını artırdıkça. As you increase inference compute. 7:25 Araştırmacılar, üç milyar parametreli gibi küçük bir modeli test zamanı arama stratejileriyle kullandığınızda, zor matematik problemlerinde 70 milyar parametreli çok daha büyük bir modeli geride bırakacağını gösterdiler. In fact, researchers showed that if you take a kind of a tiny parameter model, let's say a three billion parameter model and you use test time search strategies, it would outperform a much bigger model, a 70 billion model on hard math problems. 7:45 Yani 20'den fazla kat küçük olan bu model, büyük olanı sadece daha uzun süre düşünerek yeniyor; ancak burada kesinlikle bazı ödünler var. So that's a model that is over 20 times smaller that's beating the big one and it's doing it just by thinking longer, but there are definitely some trade-offs here. 8:00 Daha fazla düşünme süresi, açıkça daha yüksek gecikme anlamına geliyor. More thinking time, well the obvious thing that means is more latency. 8:06 Her sohbet botu sorgusu, modelin bir arama ağacında çalışması sırasında 45 saniye sürüyorsa, kullanıcılar bu durumdan pek memnun kalmaz. If every single chatbot query takes 45 seconds while the model works through a search tree, well users might have a bit of a bad time. 8:16 Ve o düşünme token'ları, sıradan çıktı token'ları olarak faturalandırılıyor. And those thinking tokens are billed as regular old output tokens. 8:20 Dolayısıyla tek bir yanıt için 10.000 token harcayan bir yanıtın çalıştırılması daha pahalıya mal oluyor; ama mesele sadece gecikme ve maliyet değil. So a response that burns through 10,000 of them for a single response is more expensive to run, but it's not just latency and expense. 8:30 Bir diğer sorun da temelde aşırı düşünme. Another problem is just basically overthinking. 8:35 Bir akıl yürütme modelini basit sorularda uzun uzun kafa yormaya zorlamak, performansı aslında düşürebilir. So forcing a reasoning model to deliberate on simple questions can actually degrade performance. 8:41 Model, kendini ikinci kez sorgulayarak yanlış cevaba sürükleniyor. The model kind of second guesses itself into the wrong answer. 8:45 Ve eğer... And if you... 8:46 Sınavda doğru cevabı kendinizi ikna ederek değiştirdiyseniz. Ever talked yourself out of the right answer on an exam. 8:50 Evet, durum tam olarak bu. Yeah, it's the same thing. 8:51 Bu analojiyi bizzat deneyimlemiş biriyim. And that is an analogy I have some firsthand experience of. 8:56 Şimdi ekonomik açıdan bakarsak, eğitim hesaplama kaynakları sermaye harcaması (CAPEX) olarak kabul edilir ve sorgu hacminden veya çıkarım süresinden bağımsız olarak bir kez ödenir; ancak test zamanı hesaplama kaynakları işletme harcaması (OPEX) niteliğindedir. Now from an economics perspective, training compute that is considered capital expense or CAPEX is paid once, regardless of the query volume or inference time, but test time compute that is OPEX is operational expense. 9:15 Her sorgu başına ödenir ve sorgu başına ne kadar harcayacağınızı da siz seçersiniz. It's paid per query and you can choose how much per query as well. 9:23 Bu ödünleşimleri göz önünde bulundurarak, en iyi yaklaşım aslında uyarlanabilir olanıdır; gelen isteğe göre değişir. With these trade-offs in mind, the best approach is actually one that is considered adaptive, so it changes based upon the request that comes in. 9:36 Böylece basit sorguları hızlı tek geçişli çıkarıma yönlendirebiliriz. So we can route easy queries to the fast single pass inference. 9:43 Daha zor sorguları ise tam akıl yürütme hattından geçiririz. And then we can rout harder queries through the full reasoning pipeline. 9:48 Bugün birçok sohbet botu tam da böyle çalışıyor. And that's how many chat bots work today. 9:51 Örneğin ChatGPT, bir seçici kullanıyor. ChatGBT, for example, uses a picker. 9:53 Sorguları akıl yürüten ve akıl yürütmeyen modeller arasında yönlendirmek için. To route queries between reasoning and non-reasoning models. 9:57 Yapay zekayı ölçeklendirmek için modelleri eğitim sırasında giderek büyütürken, test zamanı hesaplama gücü ikinci ekseni oluşturuyor. So we've been scaling AI by making models bigger and bigger at training time and test time compute is the second axis. 10:07 Bu, modelin ihtiyacı olan problemlerde daha fazla hesaplama gücü harcamasına olanak tanıyor. It's letting the model spend more compute on the problems that need it. 10:12 Yapay zeka modelleri büyüyor, hızlanıyor, ama aynı zamanda ne zaman yavaşlayıp düşünmeleri gerektiğini de öğreniyorlar. AI models, they're getting bigger, they getting faster, but they're also learning when to slow down and think. Altyazı bilgisayarımda üretildi ve videoyla ilerler; bir satıra tıklayın, o ana atlasın. Subtitles generated on my computer; they follow the video — click a line to jump there.
LLM'lerin eğitim sonrası donan ağırlıklarıyla sınırlı kalmasının aksine, test zamanı hesaplama sayesinde dinamik olarak daha derin düşünme ve hata düzeltme kapasitesini açıklar. Unlike the limitation of LLMs to their post-training fixed weights, it explains the capacity for dynamically deeper thinking and error correction through test-time computation.
Bu video youtube.com üzerinde yayımlandı; buradaki oynatıcı YouTube’undur. Türkçe özet ve altyazı AiPulse için hazırlanmıştır. This video is published on youtube.com ; the player here is YouTube’s. The Turkish summary and subtitles are prepared for AiPulse .
YouTube’da izle Watch on YouTube AI Kritik → AI Critique →