Sorularla Akıllı Şehirler · 7/10
Kim karar veriyor: plancılar mı, algoritmalar mı, sakinler mi?
26 Eylül 1983 gecesi, Moskova’nın güneyindeki bir erken uyarı merkezinde nöbetçi subay Stanislav Petrov’un önündeki ekran, bir füzenin fırlatıldığını gösterdi. Sonra bir tane daha, bir tane daha — beşe kadar. Sistem, Birleşik Devletler’in bir nükleer saldırı başlattığını bildiriyordu; protokol bunu yukarı rapor etmekti — sonu bir karşı saldırı olabilirdi. Petrov’un elinde bir telefon ve birkaç dakika vardı. Sisteme inanırsa dünyanın gidişatını değiştirebilirdi; inanmaz da yanılırsa ülkesini savunmasız bırakırdı. Mantığı basitti: gerçek bir ilk saldırı beş füzeyle değil, yüzlerce füzeyle gelirdi. Bir arıza olduğunu söyledi. Haklıydı — uydular, yüksek bulutlardan yansıyan güneş ışığını füze ateşi sanmıştı.1
Petrov’u kahraman yapan makineye itaat etmemesiydi. Kararları veren o değildi; neyin tehdit sayılacağını belirleyenler, protokolleri yazanlar, uyduyu tasarlayanlar tüm o seçimleri çoktan yapmıştı. O yalnızca en sonda, ekranın başında duruyordu — göremediği, tam olarak bilemeyeceği bir sonucun bütün ağırlığıyla. Ve o gece, bir adamın senaryonun dışına çıkması belki de büyük bir felaketi önledi.
Ekrana bakan insanın bir yanılsaması var: ekran ona bir şey gösterdiği için her şeyi gördüğünü sanıyor. Oysa ekran bir pencere değil, bir seçim — neyin görüneceğine, neyin dışarıda kalacağına başkası önceden karar vermiştir. Petrov’un ekranı ona kesin bir gerçek söylüyordu; asıl gerçek ise çerçevenin dışındaydı. Örüntü hep aynı: sistem konuşur, insan en sonda durur, asıl seçimler çoktan başka yerde yapılmıştır.
Döngüme geri dönersek: farkına var, karar ver, tepki ver. “Farkına var”ı düşündük; bu yazıda “karar ver” adımını, yani yetkinin kimde olduğunu, düşünüyorum.
İkinci yazıda aynı kavşakta üç şeyin birden istendiğini söylemiştim: araçların hareketi (verimlilik), huzurevi sakininin güvenle karşıya geçmesi (adalet), mahallelinin kendi sokağı hakkında söz sahibi olması (özerklik). Biri artarken diğeri azalabiliyordu; tek bir doğru ayar yoktu. Bu yazının konusu, hangisinin öne geçeceğine kimin karar verdiği: Plancılar mı, algoritmalar mı, sakinler mi?
Önce işe yarayan tarafı
Trafik ışıklarını gerçek zamanlı olarak ayarlayan sistemler var ve işe yarıyor. Pittsburgh’ın East Liberty semtinde Carnegie Mellon’un kurduğu Surtrac, dokuz kavşaklık bir pilotta, önceki ışık düzeniyle karşılaştırıldığında seyahat süresini yaklaşık dörtte bir, araçların bekleme süresini ise yaklaşık yüzde kırk azalttı.2 Küçük bir kazanım değil; “rutin” trafik kararlarını makineye bırakmak savunulabilir.
Sistemler kendilerine verilen parametrelere göre optimizasyon yapar. Ama “en iyi” herkes için en iyi değildir; bir yöndeki kazanç, başka bir yönde kayıp olabilir. Makine bir denge kuruyor, ama o dengenin ölçütlerini kendisi belirlemiyor — ona verilen tercihlere göre hareket ediyor. O tercihleri kim yapıyor?
Operatörün düğmesi
Petrov, içinde bulunduğu durumu sorgulayabildiği için olası bir dünya savaşının başlamasını engelledi. Araştırmacılar bunun ne yazık ki bir istisna olduğunu söylüyor. Son karar noktasında, konsolun başında oturan kişinin neyin ekrana geldiğini, neyin dışarıda kaldığını ve sistemin hangi koşullarda çalıştığını bilmesi beklenmez — bunları başkası çoktan ayarlamıştır. Yapılan araştırmalar, uzmanların bile otomasyona aşırı güvendiğini ve bunun eğitimle giderilemediğini gösteriyor.3
Denetçi ancak sistem olağan dışı bir durum gösterdiği anda devreye girer; ama neyin olağan, neyin olağan dışı sayılacağını — ekranda neyin yeşil, neyin kırmızı görüneceğini — başkası çoktan belirlemiştir. Müdahale edeceği anı bile sistem onun için seçer. Boeing’in 737 MAX’ı bu boşluğu açıkça gösterdi: ilk ölümcül kazadan bir gün önce, aynı uçakta aynı arıza yaşandı; ancak o uçuşta kokpitteki yedek koltukta oturan boştaki bir pilot arızayı tanıyıp mürettebata sistemi nasıl kapatacaklarını söyledi ve uçak normal şekilde indi. Ertesi gün, aynı arıza karşısında devreyi kesemeyen mürettebatla birlikte 189 kişi öldü. Değişen, o koltukta kimin olduğuydu — tasarım değişmedi.4 Kokpit uzak gelebilir; ama aynı düğme, bir şehrin kontrol odasındaki ekranın başında da aynı ölçüde boş olabilir.
Ben Green, kamu algoritmalarında insan denetimini şart koşan 41 politikayı inceledi. Bulgu şu: İnsan denetimi çoğu zaman “sahte bir güven duygusu” veriyor ve satıcıların ve kurumların “algoritmik zararlar için sorumluluktan kaçmasını” sağlıyor; çünkü çoğu yerde “insanlar istenen denetim işlevlerini yerine getiremiyor.”5 Karar vermeleri beklenir ama aslında sahip olmadıkları bir gücü kullanırlar. Somut bir tetikleyici ve gerçek bir sonuç olmadıkça, insanın döngüdeki rolü boş bir ritüele dönüşüyor.
Üstelik iş ters gittiğinde fatura çoğu zaman o panonun başındaki kişiye kesiliyor. Elish buna “ahlaki tampon bölge” diyor: karmaşık, otomatik bir sistemde insan, sistem bozulduğunda ahlaki ve hukuki sorumluluğun ağırlığını üstlenen bir parçaya dönüşebiliyor.6 Yetki ona verilmemiş; suç ona kalıyor.
Bunun en ağır örneğini Türkiye’de yaşadık. 22 Temmuz 2004’te, “hızlandırılmış tren” projesi — trenleri aynı eski hatlarda daha hızlı çalıştırma kararı — henüz iki ayını doldurmadan, Yakup Kadri treni Pamukova yakınında bir virajı 80 kilometre yerine 130’u aşan bir hızla aldı ve raydan çıktı; 41 kişi hayatını kaybetti, 89 kişi yaralandı.7
Kolay cevap şu: makinist fazla hızlı gitti. Ama o makinistin önündeki işe bakmak gerekiyor. Hat yenilenmemişti, trenler aynı trenlerdi; değişen tek şey, tutturulması gereken süreydi. Hazırlanan seyir cetveli, sürücüden 60 ile 140 kilometre arasında sürekli hız değiştirmesini istiyordu; üstelik ne yeterli bir işaretleme ne de bir otomasyon vardı. Bir bilirkişi raporu, bu süreye bu hızlarla uyulmasının imkânsız olduğunu belirtti.8 Asıl soru şu: sürekli değişen, işaretsiz, otomasyonsuz bir hız cetvelini bir insanın her seferinde hatasız uygulayabileceğini kim sınamıştı? Bu soru daha önce sorulmadı — bedelini, seferlerin 52. gününde, makinist ve yolcular ödedi.
Dahası, kusurun o hızda bile makinistte olup olmadığı tartışmalı; kimi uzmanlar, o yarıçaptaki bir virajda savrulmanın çok daha yüksek bir hız gerektireceğini, asıl nedenin bozuk zemin olduğunu söyledi.9 Dava yıllarca sürdü. Makinistler 2008’de hapis cezası aldı; Yargıtay kararı iki kez bozdu, cezalar ertelenmiş adli para cezasına çevrildi ve dava zamanaşımından düştü. Makinistler aylarca tutuklu kaldı; yargılanan ise yalnızca tren personeliydi.10 Yaşananların ve o uzun sürecin onların vicdanında ömür boyu bir yük bırakmış olabileceğini düşündükçe üzülüyorum. Bilirkişi kusurun yarısını yola ve sistemin kendisine bağladı; o eski hatta hızlı tren çalıştırma kararı ise aynı ölçüde sorgulanmadı. Karar baştan ve yukarıda verilmişti; ağırlığını en öndeki taşıdı. Elish’in “ahlaki tampon bölge” dediği şey tam da buydu — yalnız bu kez bir algoritmanın değil, bir politika kararının tampon bölgesi.
Sakinin itirazı
Mahallelerden birine yeşil dalga, komşusuna kırmızı; makine için sıradan bir ayar ama orada oturan için değil. Peki orada yaşayan ne yapabilir? İlk bakışta bir hakkı varmış gibi görünebilir. Avrupa’nın veri koruma yasası (GDPR), tamamen otomatik verilen bir karara itiraz etme ve bir insanın devreye girmesini isteme hakkı tanır.11 Ama bu hak yalnızca kişiyi hukuken ya da benzer ölçüde ciddi biçimde etkileyen kararlar için geçerlidir; bir mahallenin sinyal planı bu kapsama girmez. Yani kâğıttaki o hak bile burada sakini korumuyor. Girseydi bile sormak gerekir: itiraz sistemin mantığını gerçekten değiştirir mi, yoksa bir kenara yazılıp geçilir mi? Kaldı ki böyle bir hakkı çoğu zaman yalnızca zamanı, parası ve bilgisi olanlar kullanabilir.
Veto hakkı olduğunu da düşünmüyorum. Sakinin sesi, plancının ve algoritmanın gözden kaçırdığı gerçek bir veri olabilir; ama teknik olarak doğru sayılan bir kararı herkes kendi durumuna göre veto etmeye kalkarsa, bu da başka bir adaletsizlik olur. Buradaki hak şu kadar: duyulmak ve sistemi değiştirebilecek güce sahip olmak — kişisel bir veto değil.
Kimse sorumlu değilken
İtiraz hakkının en açık şekilde boşa düştüğü yer trafik değil. Hollanda’da vergi idaresi, çocuk bakım yardımı başvurularını kendi geliştirdiği bir algoritmayla “risk profili”ne göre tarıyordu; uyruk da bu risk etkenlerinden biriydi.12 İdare, bu işaretlemelere dayanarak 2013–2019 arasında 20 binden fazla aileyi haksız yere dolandırıcılıkla suçlayıp aldıkları yardımı geri istedi. İtiraz eden ailelerin çoğu yıllarca bir şeyi değiştiremedi. Sorumluluk ancak bir meclis soruşturması “hukuk devletinin temel ilkelerinin” çiğnendiğini söyleyip hükûmet 2021 başında istifa ettiğinde ortaya çıktı.13
Bunun adını Thompson 1980’de koymuş, Nissenbaum 1996’da bilişime taşımıştı: “çok el” — bir sonuca birçok aktör katkıda bulununca ahlaki sorumluluğu tek birine atfetmek zorlaşıyor.14 İdare sistemi kendi kurdu ve çalıştırdı, bakanlık onayladı, risk ölçütünü koyanlar başka masalardaydı; hata olunca herkes bir diğerini gösterebildi. Boş bir ritüel, ulusal ölçekte böyle görünüyor.
Asıl karar: tasarım
Üç olasılığı da — algoritma, sakin, plancı — dikkate aldığımda yetkiyi ne algoritmada ne de tek tek sakinde görebiliyorum. Algoritma rutini uyguluyor; operatör, ahlaki yüküyle rolü üstleniyor ama sisteme kazınan kararların tamamına hâkim değil; sakinin itirazı sonuç üretmiyorsa etkisiz kalıyor. Geriye plancı — ve onun tasarımı — kalıyor. Sınırı kim çizdi — neyin “rutin” sayılacağını kim belirledi? İtiraz kanalını kim kurdu — yanlışı düzeltecek şekilde mi? Ölçütü kim koydu — sistemin neyi önceleyeceğini?
Tasarıma hesap sormak
Peki tasarım görünmezse ona nasıl hesap sorulur? Birkaç şehir bunu denemeye başladı. Helsinki ve Amsterdam, kullandıkları algoritmaları herkese açık bir “algoritma siciline” kaydediyor. Helsinki’nin anlatımıyla sicil, şehrin yapay zekâyı nerede ve nasıl kullandığını ve bunun nasıl denetlendiğini gösteriyor.15 Tam bir çözüm değil ama doğru yöne bakıyor: kararın verildiği yeri, yani tasarımı, görünür ve itiraz edilebilir kılıyor.
Öyleyse kim karar veriyor?
Algoritma değil, sakin de değil; karar tasarımda. Ama “plancı” derken tek bir kişiyi kastetmiyorum — tasarımın çoğu zaman tek bir sahibi yoktur. Bu kararlar bir kez, önceden ve görünmeden verilir; açıkça denetlenip bir kurala bağlanmadıkça tasarımın içinde gömülü kalır, makineden geçtiği için sorgusuz kabul edilir ve sonunda kimsenin hesap vermediği bir sisteme dönüşür.
Yetkiyi dağıtmak da bir elde toplamak da sonunda tasarımın kararıdır — ikinci yazıdaki dağıtık yönetim de öyle. Yalnız tasarım, kararın nerede verildiğini gösterir; o yetkinin meşru olarak kimde olması gerektiğini değil. Bu, başka bir sorunun konusu.
Tasarımın verdiği ve şimdiye kadar düşünmediğim bir karar daha var: şehirde neyi ölçeceğine karar veren planlayıcı, kimi göreceğine de karar veriyor. İstemeden modern bir panoptikon — herkesin tek bir yerden sürekli izlenebildiği o düzen — kuruluyor olabilir mi?
Bu da beni bir sonraki soruya götürüyor: şehri görmek nerede insanları izlemeye dönüşüyor?
Notlar ve kaynaklar
Her not, metnin dayandığı ifadeyi (çoğu kez kaynağın kendi sözleriyle, yer yer özetleyerek) ve kaynağını verir.
| not | İfade (özgün dilinde) | Kaynak |
|---|---|---|
| 1 | 26 Eylül 1983: Sovyet Oko erken-uyarı sistemi ABD’den füze fırlatıldığını bildirdi (kaynaklara göre 1 ya da 5); nöbetçi subay Stanislav Petrov bunu arıza sayıp yukarı rapor etmedi — neden, yüksek bulutlardan yansıyan güneş ışığıydı. İyi belgelenmiş tarih; birebir alıntı değil. | Encyclopædia Britannica, “Stanislav Petrov”; “1983 Soviet nuclear false alarm incident”, Wikipedia; RFE/RL (2013) |
| 2 | East Liberty pilotunda bekleme süresi ~%40, seyahat süresi ~%25 (CMU 2012: “nearly 26 percent”; 2016: “25 percent”), emisyon ~%21 azaldı; dokuz kavşak, önce/sonra karşılaştırması (kontrollü deney değil; rakamlar ikincil haberden). | Smith, Barlow, Xie, Rubinstein, “Smart Urban Signal Networks: Initial Application of the SURTRAC…”, ICAPS/TRB 2013 (ri.cmu.edu/pub_files/2013/1/13-0315.pdf); CMU Piper 2012; CMU News 2016 |
| 3 | Otomasyon yanlılığı/gevşekliği uzmanlarda da görülür ve eğitimle/talimatla giderilemez (aktarma, alıntı değil). | Parasuraman, R. & Manzey, D. (2010). Human Factors 52(3), 381–410. doi:10.1177/0018720810376055 |
| 4 | “an off-duty pilot … correctly diagnosed the problem and told the crew how to disable a malfunctioning flight-control system” (kaza uçağının bir gün önceki uçuşu; aktarma — Bloomberg’in paywall’lu haberinden ikincil kaynaklar). Ertesi gün JT610’da mürettebat prosedürü uygulayamadı; 189 ölü. | Bloomberg, “How an Extra Man in Cockpit Saved a 737 Max That Later Crashed” (19.03.2019; The Drive/SCMP/Fox aktarımı); KNKT Final Report (2019, JT610) |
| 5 | “human oversight policies provide a false sense of security” · “enable vendors and agencies to shirk accountability for algorithmic harms” · “people are unable to perform the desired oversight functions” | Ben Green, “The Flaws of Policies Requiring Human Oversight of Government Algorithms”, Computer Law & Security Review 45 (2022), 105681; arXiv:2109.05067 (özet, CC BY) |
| 6 | “the human in a highly complex and automated system may become simply a component … that bears the brunt of the moral and legal responsibilities when the overall system malfunctions.” (özet) | Elish, M. C. (2019). “Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction.” Engaging Science, Technology, and Society 5, 40–60. doi:10.17351/ests2019.260 |
| 7 | “toplam 230 yolcudan 41 kişinin ölümüne … 89 kişinin de yaralanmasına sebep olmuştur” — metinde bu rakamlar alındı; bazı dönem kaynakları ölü sayısını daha düşük (37’ye kadar) veriyor. | tr.wikipedia, “Pamukova tren kazası” (erişim 15 Kasım 2026) |
| 8 | “60 km ile 140 km arasında sık sık hız değişimleri ile seyir cetveli oluşturulmuştu”; savcılık bilirkişi heyeti: “hız değişimlerini gösteren yeterli işaretlemenin olmaması” ve “otomasyon sistemi bulunmaması”; teknik bilirkişi: sefer süresinin verilen hızlarla gerçekleşmesi “olanaksızdır” (köşe yazısı + haber). | BirGün, İsmail Özdemir (BTS), “Kaza değil cinayetti” (22.07.2024); BirGün, “Hızı TCDD istedi” (13.11.2004) |
| 9 | 345 m yarıçaplı kurpta “merkezkaç savrulması meydana gelmesi için hızın 171 km. üzerinde olması gerekiyordu”; Prof. Aydın Erel: “Yalnızca yüksek hız nedeniyle trenin kaza yapma riski çok azdır”, asıl nedeni yol/zemin gösterdi. | BirGün, “Kaza değil cinayetti” (22.07.2024); Bianet, “Erel: Kazanın Tek Nedeni Hız Olamaz” (23.07.2004) |
| 10 | Makinistler 2008’de mahkûm oldu, tren şefi beraat etti; Yargıtay kararı iki kez bozdu; cezalar ertelenmiş adli para cezasına çevrildi, dava zamanaşımından düştü; baş makinist 5 ay, ikinci makinist 3 ay tutuklu kaldı; bilirkişi rayları “yarı yarıya kusurlu” buldu; AYM yaşam hakkının usul yönünden ihlaline karar verdi. | Bianet, “Tren Hızlı, Adalet Yavaş” (07.02.2012); Bianet, “…AYM’den … ‘ihlal’ kararı” (04.01.2022); tr.wikipedia “Pamukova tren kazası” (5/3 ay tutukluluk) |
| 11 | “The data subject shall have the right not to be subject to a decision based solely on automated processing … which produces legal effects concerning him or her or similarly significantly affects him or her.” · “the right to obtain human intervention on the part of the controller, to express his or her point of view and to contest the decision.” | Regulation (EU) 2016/679 (GDPR), Madde 22(1) ve 22(3). gdpr-info.eu/art-22-gdpr |
| 12 | “an algorithmic decision-making system to create risk profiles of individuals applying for childcare benefits” · “Nationality was one of the risk factors used by the tax authorities to assess the risk of inaccuracy and/or fraud” | Amnesty International, Xenophobic Machines (Index EUR 35/4686/2021, 25 Ekim 2021). amnesty.org |
| 13 | Vergi idaresi 2013–2019’da 20.000’den fazla aileyi haksız yere dolandırıcılıkla suçladı; meclis soruşturması “fundamental principles of the rule of law” çiğnendi dedi; Rutte III hükûmeti 15 Ocak 2021’de istifa etti (aile sayısı kaynaklara göre 20.000’den fazla / ~30.000). | CNBC (15.01.2021); The Guardian (15.01.2021) — toeslagenaffaire |
| 14 | “many hands, to refer to the problem of attributing moral responsibility for outcomes caused by multiple moral actors” | Thompson, D. F. (1980), “Moral Responsibility of Public Officials: The Problem of Many Hands”, American Political Science Review 74(4), 905–916 (adı koyan); bilişime taşıyan: Nissenbaum, H. (1996), Science and Engineering Ethics 2(1), 25–42; ayrıca Cooper, Moss, Laufer & Nissenbaum (2022), FAccT, arXiv:2202.05338 |
| 15 | “The AI Register tells you where and how the City of Helsinki uses AI. Learn about the systems, understand their impacts and check how their use is supervised.” | City of Helsinki, AI Register (ai.hel.fi/en/ai-register); Amsterdam’ın da benzer “algoritma sicili” var |