Ahlaklı Makine: Karar Vermemek de Bir Karardır
1967'de Philippa Foot bir tramvay hayal etti: frenler tutmuyor, ileride beş kişi, yan hatta bir kişi. Makası çevirir misiniz? Yarım yüzyıl boyunca bu soru seminer odalarının oda oyunuydu. Sınavda sorulur, masada tartışılır, kimse fiilen makas başında durmazdı. Sonra bir şey değişti: makas, yazılım oldu. Sürücüsüz bir araç günün birinde, saliselik bir anda, zararı dağıtmak zorunda kalacak. Ve fren yazılımı doğaçlama yapmaz; o an içinde ne yazıyorsa onu yapar.
Asıl mesele tek cümlelik bir ayrımda başlıyor: insan ikilemi bir kez, o anda, sonucunu taşıyacak biri tarafından karara bağlanır; makine ikilemi önceden, genel olarak, orada asla bulunmayacak kişiler tarafından. Makastaki insanın elleri titrer; hukuk bile "anın paniği" diye bir pay tanır. Yazılımdaki karar ise iyi aydınlatılmış bir toplantı odasında verilir. Takvimi vardır, sürüm numarası vardır, onay imzası vardır. Etik, koda döküldüğü anda karar olmaktan çıkar; politika olur.
Buna ilk refleks hep aynı: "Makine taraf tutmasın, sadece frenlesin." Kulağa tarafsızlık gibi geliyor; değil. "Sadece frenle" de bir politikadır: zararı, o an kimin önde durduğuna göre dağıtır; aracın içindekiyle dışındakini varsayılan geometriye göre tartar. Varsayılan, birinin verdiğini itiraf etmeyi unuttuğu karardır. Karar vermemenin de bir bilançosu olur; sadece altında imza olmaz.
Bunu ölçen oldu. MIT'nin Moral Machine deneyi, 2016 ile 2018 arasında 233 ülke ve bölgeden yaklaşık kırk milyon karar topladı: kimi koru, kimi feda et. Sonuç rahatsız edici biçimde net: "besbelli" sandığımız cevaplar evrensel değil. Genci korumaya verilen ağırlık bile kültürden kültüre ölçülür biçimde değişiyor. Aynı yıllarda Almanya başka bir yoldan yürüdü: 2017'de otomatik sürüş için kurulan etik komisyonu, kaçınılmaz kaza programlamasında yaşa, cinsiyete ya da herhangi bir kişisel özelliğe göre ayrım yapılamayacağına hükmetti. İki belgeyi yan yana koyun: tarihin en büyük ahlak anketi insanların tercihlerini ölçüyor; bir devlet, bazı tercihlerin koda girmesini yasaklıyor. Ölçülen ahlak ile izin verilen ahlak aynı şey değil. Bu gerilimin kendisi, sorunun seminer odasından çoktan çıktığının kanıtı.
İtiraz güçlü ve hakkı teslim edilmeli: "Bu uç senaryolar yok denecek kadar nadir. Otonom sürüşün gerçek etiği istatistikseldir: toplam ölümü düşürüyorsa, tramvay bilmeceleriyle oyalanan her yıl can kaybıdır. Tramvay çerçevesi yanıltıyor." Bütçe konusunda itiraz haklı; toplam hesapta belirleyici olan ortalamadır, uç vaka değil. Ama bir şeyi gözden kaçırıyor: değerler ortalama durumda görünmez. Sıradan bir günde, canı tartan sistemle tazminat riskini tartan sistem aynı şekilde frenler; gündelik çıktıları çakışır, aralarındaki fark okunamaz. Sistemin neyi neye değiştiğini ancak uç vakada görürsünüz. Nadir durum, etiğin yaşadığı yer değildir; etiğin okunur hale geldiği yerdir. Bir sistemin değerlerini ortalamada denetleyemezsiniz; denetim penceresi uçtadır. Her gözlemle uyumlu görünen bir politika, tam da o pencerede konuşmaya başlar.
O yüzden eski soru, "kim karar veriyor", artık yanlış zamanda çekimleniyor. Tekerlekler kilitlendiği anda kimse karar vermiyor olacak; karar çoktan verilmiş, test edilmiş, milyonlarca araca dağıtılmış olacak. Sorunun dürüst hali gelecekle geçmişi aynı cümlede taşıyor: kim, ne zaman, kimin adına karar vermiş olacak?
Bu sorunun bir tesellisi var. İnsan ikilemi hep karanlıkta, panikte, geriye dönüp bakarak tartışıldı. Makine ikilemi ise tarihte ilk kez bir felaketi olmadan önce, gün ışığında, yazılı bir metin üzerinden tartışma şansı veriyor. Bu şansı kullanmamak elimizi temiz tutmaz; imzayı varsayılana devreder. Ve varsayılan, az önce gördük, hiç de tarafsız değil.