Teknolojinin Ergenliği

Güçlü Yapay Zekanın Riskleriyle Yüzleşmek ve Bunların Üstesinden Gelmek

Dario Amodei

Carl Sagan’ın “Contact” kitabının film uyarlamasında, uzaylı bir medeniyetten gelen ilk radyo sinyalini tespit eden bir astronom olan baş karakterin, insanlığın uzaylılarla görüşme temsilcisi rolü için değerlendirildiği bir sahne var. Onu mülakat eden uluslararası panel, “Uzaylılara sadece bir soru sorabilseydiniz, bu ne olurdu?” diye soruyor. Cevabı ise şöyle: “Onlara ‘Bunu nasıl başardınız? Nasıl evrimleştiniz, bu teknolojik ergenlik dönemini kendinizi yok etmeden nasıl atlattınız?’ diye sorardım.” İnsanlığın yapay zekâ ile şu anki durumunu, yani eşiğinde olduğumuz şeyi düşündüğümde, aklım sürekli o sahneye geri dönüyor, çünkü soru mevcut durumumuz için çok uygun ve keşke uzaylıların cevabı bize yol gösterebilseydi. Bence, tür olarak kim olduğumuzu sınayacak, hem çalkantılı hem de kaçınılmaz bir geçiş törenine giriyoruz. İnsanlığa neredeyse hayal edilemez bir güç verilmek üzere ve sosyal, politik ve teknolojik sistemlerimizin bunu kullanacak olgunluğa sahip olup olmadığı son derece belirsiz.

“Sevgi Dolu Zarafet Makineleri” adlı denememde, risklerin ele alındığı ve güçlü yapay zekanın herkesin yaşam kalitesini yükseltmek için beceri ve şefkatle uygulandığı, olgunluğa erişmiş bir medeniyetin hayalini ortaya koymaya çalıştım. Yapay zekanın biyoloji, sinirbilim, ekonomik kalkınma, küresel barış ve iş ve anlam alanlarında muazzam ilerlemelere katkıda bulunabileceğini öne sürdüm. İnsanlara uğruna savaşacakları ilham verici bir şey vermenin önemli olduğunu düşündüm; bu konuda hem yapay zeka hızlandırıcıları hem de yapay zeka güvenliği savunucuları (garip bir şekilde) başarısız olmuş gibi görünüyorlardı. Ancak bu denemede, geçiş ritüelinin kendisiyle yüzleşmek istiyorum: Karşı karşıya kalacağımız riskleri haritalandırmak ve onları yenmek için bir savaş planı yapmaya başlamak. İnsanlığın ruhuna ve asaletine, üstesinden gelebileceğimize derinden inanıyorum, ancak durumu dürüstçe ve yanılsamalar olmadan ele almalıyız.

Faydaları konuşmakta olduğu gibi, riskleri de dikkatli ve iyi düşünülmüş bir şekilde tartışmanın önemli olduğunu düşünüyorum. Özellikle şu hususların kritik öneme sahip olduğunu düşünüyorum:

• Kıyametçi düşünceden kaçının. Burada “kıyametçi düşünce” derken sadece felaketin kaçınılmaz olduğuna inanmayı (ki bu hem yanlış hem de kendi kendini gerçekleştiren bir inançtır) değil, daha genel olarak yapay zekâ risklerini neredeyse dini bir şekilde düşünmeyi kastediyorum. ¹

  Birçok insan uzun yıllardır yapay zekâ riskleri hakkında analitik ve sağduyulu bir şekilde düşünüyor, ancak 2023-2024 yıllarında yapay zekâ riskine ilişkin endişelerin zirve yaptığı dönemde, en mantıksız seslerin, genellikle sansasyonel sosyal medya hesapları aracılığıyla öne çıktığı izlenimine sahibim. Bu sesler, din veya bilim kurguyu anımsatan itici bir dil kullandı ve bunları haklı çıkaracak kanıt olmadan aşırı eylemler çağrısında bulundu. O zaman bile bir tepkinin kaçınılmaz olduğu ve meselenin kültürel olarak kutuplaşacağı ve dolayısıyla çıkmaza gireceği açıktı. ²

  2025-2026 itibarıyla, denge değişti ve birçok siyasi kararı yapay zeka riski değil, yapay zeka fırsatı yönlendiriyor. Bu kararsızlık talihsiz bir durum, çünkü teknolojinin kendisi moda olan şeylerle ilgilenmiyor ve 2026’da gerçek tehlikeye 2023’e göre çok daha yakınız. Buradan çıkarılacak ders, riskleri gerçekçi, pragmatik bir şekilde tartışmamız ve ele almamız gerektiğidir: aklı başında, gerçeklere dayalı ve değişen koşullara uyum sağlayabilecek şekilde.

• Belirsizliği kabul edin. Bu yazıda dile getirdiğim endişelerin geçersiz olabileceği birçok yol var. Burada hiçbir şey kesinlik veya olasılık iletmek amacı taşımıyor. En açık şekilde, yapay zekâ benim hayal ettiğim kadar hızlı ilerlemeyebilir. ³

  Ya da, hızlı bir şekilde ilerlese bile, burada tartışılan risklerin bazıları veya tamamı gerçekleşmeyebilir (ki bu harika olurdu), ya da dikkate almadığım başka riskler olabilir. Hiç kimse geleceği tam bir güvenle tahmin edemez, ancak yine de planlamak için elimizden gelenin en iyisini yapmalıyız.

• Mümkün olduğunca cerrahi bir şekilde müdahale edin. Yapay zekânın riskleriyle başa çıkmak, şirketler (ve özel üçüncü taraf aktörler) tarafından alınan gönüllü eylemler ve herkesi bağlayan hükümet eylemleri karışımını gerektirecektir. Gönüllü eylemler -hem bunları gerçekleştirmek hem de diğer şirketleri de aynı şeyi yapmaya teşvik etmek- benim için tartışmasız bir durum. Hükümet eylemlerinin de bir ölçüde gerekli olacağına kesinlikle inanıyorum , ancak bu müdahaleler karakter olarak farklıdır çünkü potansiyel olarak ekonomik değeri yok edebilir veya bu risklere şüpheyle yaklaşan isteksiz aktörleri zorlayabilir (ve haklı olma ihtimalleri de var!). Düzenlemelerin ters tepmesi veya çözmeyi amaçladıkları sorunu daha da kötüleştirmesi de yaygındır (ve bu, hızla değişen teknolojiler için daha da geçerlidir). Bu nedenle, düzenlemelerin ihtiyatlı olması çok önemlidir: yan hasarı önlemeye, mümkün olduğunca basit olmaya ve işi halletmek için gereken en az yükü getirmeye çalışmalıdırlar. ⁴

  “İnsanlığın kaderi söz konusu olduğunda hiçbir eylem aşırı değildir!” demek kolaydır, ancak pratikte bu tutum yalnızca tepkiye yol açar. Açık olmak gerekirse, sonunda çok daha önemli eylemlerin gerekli olduğu bir noktaya ulaşma ihtimalimizin yüksek olduğunu düşünüyorum, ancak bu, bugün sahip olduğumuzdan daha güçlü, somut bir tehlike kanıtına ve tehlikeyi ele alma şansı olan kurallar formüle etmek için yeterli özgüllüğe bağlı olacaktır. Bugün yapabileceğimiz en yapıcı şey, daha güçlü kuralları destekleyecek kanıt olup olmadığını öğrenirken sınırlı kuralları savunmaktır. ⁵

Bütün bunları söyledikten sonra, yapay zekanın riskleri hakkında konuşmaya başlamanın en iyi yolunun, faydaları hakkında konuşmaya başlarken de kullandığım aynı nokta olduğunu düşünüyorum: hangi yapay zeka seviyesinden bahsettiğimizi açıkça belirtmek. Benim için uygarlık açısından endişe yaratan yapay zeka seviyesi, ” Sevgi Dolu Zarafet Makineleri” adlı kitabımda tanımladığım güçlü yapay zekadır . Burada o belgede verdiğim tanımı tekrarlayacağım:

“Güçlü yapay zeka” derken, günümüzdeki LLM’lere biçim olarak benzer, ancak farklı bir mimariye dayanabilen, etkileşimli birkaç model içerebilen ve farklı şekilde eğitilebilen, aşağıdaki özelliklere sahip bir yapay zeka modelini kastediyorum:

• Saf zekâ açısından, biyoloji, programlama, matematik, mühendislik, yazarlık vb. gibi ilgili alanların çoğunda Nobel Ödülü sahibinden daha zekidir. Bu, çözülmemiş matematiksel teoremleri kanıtlayabileceği, son derece iyi romanlar yazabileceği, sıfırdan zor kod tabanları yazabileceği vb. anlamına gelir.
• Sadece “konuştuğunuz akıllı bir şey” olmanın ötesinde, metin, ses, video, fare ve klavye kontrolü ve internet erişimi de dahil olmak üzere sanal ortamda çalışan bir insanın sahip olduğu tüm arayüzlere sahiptir. Bu arayüzün sağladığı her türlü eylemi, iletişimi veya uzaktan işlemi gerçekleştirebilir; internette işlem yapmak, insanlardan talimat almak veya vermek, malzeme sipariş etmek, deneyleri yönetmek, videolar izlemek, videolar yapmak ve benzeri. Tüm bu görevleri, yine dünyanın en yetenekli insanlarından bile daha üstün bir beceriyle yerine getirir.
• Sadece soruları pasif bir şekilde yanıtlamakla kalmaz; bunun yerine, tamamlanması saatler, günler veya haftalar sürebilecek görevler verilebilir ve ardından akıllı bir çalışanın yapacağı gibi, gerektiğinde açıklama isteyerek bu görevleri bağımsız olarak yerine getirir.
• Fiziksel bir varlığı yok (bilgisayar ekranında yaşaması dışında), ancak bir bilgisayar aracılığıyla mevcut fiziksel araçları, robotları veya laboratuvar ekipmanlarını kontrol edebiliyor; teorik olarak, kendi kullanımı için robotlar veya ekipmanlar bile tasarlayabilir.
• Modelin eğitilmesi için kullanılan kaynaklar, milyonlarca örneğini çalıştırmak için yeniden kullanılabilir (bu, yaklaşık 2027 yılındaki öngörülen küme boyutlarıyla eşleşir) ve model, bilgiyi özümseyip eylemleri insan hızının yaklaşık 10-100 katı hızda üretebilir. Bununla birlikte, fiziksel dünyanın veya etkileşimde bulunduğu yazılımın tepki süresiyle sınırlı olabilir.
• Bu milyonlarca kopyanın her biri, birbiriyle ilgisi olmayan görevlerde bağımsız olarak hareket edebilir veya gerekirse, insanların iş birliği yaptığı gibi birlikte çalışabilirler; belki de farklı alt popülasyonlar belirli görevlerde özellikle iyi olacak şekilde ince ayarlanmıştır.

Bunu kısaca “veri merkezindeki dâhiler ülkesi” olarak özetleyebiliriz.

“Sevgi Dolu Zarafet Makineleri” adlı kitabımda da belirttiğim gibi , güçlü yapay zekâ 1-2 yıl kadar kısa bir sürede ortaya çıkabilir, ancak çok daha uzun bir süre de sürebilir. ⁶

Güçlü yapay zekanın tam olarak ne zaman geleceği, başlı başına bir makaleyi hak eden karmaşık bir konu; ancak şimdilik, bunun çok yakında olabileceğine dair güçlü bir olasılık olduğunu neden düşündüğümü çok kısaca açıklayacağım.

Anthropic’teki kurucu ortaklarım ve ben, yapay zeka sistemlerinin “ölçekleme yasalarını” belgeleyen ve izleyen ilk kişiler arasındaydık; yani, daha fazla işlem gücü ve eğitim görevi ekledikçe, yapay zeka sistemlerinin ölçebildiğimiz hemen her bilişsel beceride öngörülebilir bir şekilde daha iyi hale geldiğini gözlemledik. Her birkaç ayda bir, kamuoyu ya yapay zekanın “duvara çarptığına” ikna oluyor ya da “oyunu temelden değiştirecek” yeni bir atılım konusunda heyecanlanıyor, ancak gerçek şu ki, oynaklığın ve kamuoyu spekülasyonunun ardında, yapay zekanın bilişsel yeteneklerinde istikrarlı ve kararlı bir artış olmuştur.

Şu anda yapay zekâ modelleri, çözülmemiş matematiksel problemleri çözmede ilerleme kaydetmeye başlıyor ve kodlama konusunda o kadar iyiler ki, tanıdığım en güçlü mühendislerden bazıları artık kodlamalarının neredeyse tamamını yapay zekâya devrediyor. Üç yıl önce, yapay zekâ ilkokul seviyesindeki aritmetik problemlerinde bile zorlanıyordu ve tek bir satır kod yazmakta bile güçlük çekiyordu. Biyolojik bilimler, finans, fizik ve çeşitli ajan tabanlı görevlerde de benzer iyileşme oranları görülüyor. Eğer bu üstel büyüme devam ederse (ki bu kesin değil, ancak on yıllık bir geçmiş bunu destekliyor) yapay zekânın hemen hemen her şeyde insanlardan daha iyi hale gelmesi birkaç yıldan fazla sürmez.

Aslında, bu resim muhtemelen ilerleme hızını hafife alıyor. Yapay zeka artık Anthropic’te kodun büyük bir kısmını yazdığı için, yeni nesil yapay zeka sistemlerini oluşturmadaki ilerleme hızımızı önemli ölçüde hızlandırıyor. Bu geri bildirim döngüsü her ay ivme kazanıyor ve mevcut yapay zeka neslinin bir sonraki nesli otonom olarak oluşturacağı noktaya sadece 1-2 yıl uzaklıkta olabilir. Bu döngü zaten başladı ve önümüzdeki aylarda ve yıllarda hızla ivme kazanacak. Anthropic içinden son 5 yıllık ilerlemeyi izlerken ve önümüzdeki birkaç ayın modellerinin nasıl şekillendiğine bakarken, ilerleme hızını ve geri sayım saatini hissedebiliyorum .

Bu yazıda, bu sezginin en azından kısmen doğru olduğunu varsayacağım; yani güçlü yapay zekanın kesinlikle 1-2 yıl ⁷ içinde geleceği anlamına gelmiyor.

Ama bunun gerçekleşme ihtimali oldukça yüksek, hatta önümüzdeki birkaç yılda gerçekleşme ihtimali çok yüksek. Tıpkı Sevgi Dolu Zarafet Makineleri’nde olduğu gibi, bu önermeyi ciddiye almak şaşırtıcı ve ürkütücü sonuçlara yol açabilir. Sevgi Dolu Zarafet Makineleri’nde bu önermenin olumlu sonuçlarına odaklanırken, burada bahsedeceğim şeyler rahatsız edici olacak. Bunlar yüzleşmek istemeyebileceğimiz sonuçlar, ancak bu onları daha az gerçek yapmaz. Sadece şunu söyleyebilirim ki, bizi bu olumsuz sonuçlardan uzaklaştırıp olumlu sonuçlara yönlendirmek için gece gündüz çalışıyorum ve bu yazıda bunu en iyi nasıl yapabileceğimi ayrıntılı olarak anlatıyorum.

Bence yapay zekanın risklerini anlamanın en iyi yolu şu soruyu sormaktır: Diyelim ki, 2027 civarında dünyanın bir yerinde kelimenin tam anlamıyla bir “dahiler ülkesi” ortaya çıktı. Örneğin, hepsi herhangi bir Nobel ödüllü bilim insanından, devlet adamından veya teknoloji uzmanından çok daha yetenekli 50 milyon insan hayal edin. Benzetme mükemmel değil, çünkü bu dâhilerin motivasyonları ve davranışları son derece geniş bir yelpazeye yayılabilir; tamamen uysal ve itaatkâr olanlardan, motivasyonları garip ve yabancı olanlara kadar. Ama şimdilik benzetmeye bağlı kalalım, diyelim ki büyük bir devletin ulusal güvenlik danışmanısınız ve durumu değerlendirmek ve yanıt vermekle sorumlusunuz. Dahası, yapay zeka sistemleri insanlardan yüzlerce kat daha hızlı çalışabildiği için, bu “ülkenin” diğer tüm ülkelere göre zaman avantajına sahip olduğunu hayal edin: Bizim yapabileceğimiz her bilişsel eylem için, bu ülke on tane yapabilir.

Nelerden endişelenmelisiniz? Ben şu konulardan endişelenirdim:

1. Özerklik riskleri. Bu ülkenin niyetleri ve hedefleri nelerdir? Düşmanca mı, yoksa değerlerimizi mi paylaşıyor? Üstün silahlar, siber operasyonlar, etki operasyonları veya üretim yoluyla dünyaya askeri olarak hükmedebilir mi?
2. Yıkım amaçlı kötüye kullanım. Yeni ülkenin esnek olduğunu ve “talimatları izlediğini” varsayalım; dolayısıyla esasen paralı askerlerden oluşan bir ülke olsun. Yıkıma neden olmak isteyen mevcut kötü niyetli aktörler (teröristler gibi), kendilerini çok daha etkili hale getirmek ve yıkımın boyutunu büyük ölçüde artırmak için yeni ülkedeki bazı insanları kullanabilir veya manipüle edebilir mi?
3. İktidarı ele geçirmek için kötüye kullanım. Ya ülke aslında mevcut güçlü bir aktör, örneğin bir diktatör veya yasadışı bir şirket tarafından inşa edilmiş ve kontrol ediliyorsa? Bu aktör, mevcut güç dengesini alt üst ederek, tüm dünyada belirleyici veya baskın bir güç elde etmek için bunu kullanabilir mi?
4. Ekonomik bozulma. Yeni ülke, yukarıda 1-3 numaralı maddelerde listelenen şekillerden herhangi biriyle güvenlik tehdidi oluşturmaz ve sadece küresel ekonomiye barışçıl bir şekilde katılırsa, teknolojik olarak o kadar gelişmiş ve etkili olması nedeniyle küresel ekonomiyi alt üst ederek, kitlesel işsizliğe veya servetin radikal bir şekilde yoğunlaşmasına yol açarak yine de ciddi riskler yaratabilir mi?
5. Dolaylı etkiler. Yeni ülkenin yaratacağı tüm yeni teknoloji ve verimlilik nedeniyle dünya çok hızlı bir şekilde değişecek. Bu değişikliklerden bazıları radikal bir şekilde istikrarsızlaştırıcı olabilir mi?

Bence bunun tehlikeli bir durum olduğu açıkça ortada; yetkin bir ulusal güvenlik yetkilisinin bir devlet başkanına sunacağı raporda muhtemelen “son yüzyılda, belki de tarihte karşılaştığımız en ciddi ulusal güvenlik tehdidi” gibi ifadeler yer alacaktır. Bu, medeniyetin en zeki beyinlerinin odaklanması gereken bir konu gibi görünüyor.

Öte yandan, omuz silkip “Burada endişelenecek bir şey yok!” demek absürt olurdu diye düşünüyorum. Ancak, yapay zekanın hızlı ilerlemesi karşısında, bu görüş birçok ABD politika yapıcısının bakış açısı gibi görünüyor; hatta bazıları, her zamanki eski ve tartışmalı konularla tamamen meşgul olmadıkları zamanlarda, yapay zeka risklerinin varlığını bile reddediyor. ⁸

İnsanlığın uyanması gerekiyor ve bu deneme, insanları uyandırmak için -muhtemelen boşuna bir girişim olsa da, denemeye değer- bir çaba.

Açık konuşmak gerekirse, kararlı ve dikkatli hareket edersek risklerin üstesinden gelinebileceğine inanıyorum; hatta şansımızın yüksek olduğunu bile söyleyebilirim. Ve bunun ötesinde çok daha iyi bir dünya var. Ancak bunun ciddi bir medeniyet sorunu olduğunu anlamamız gerekiyor. Aşağıda, yukarıda belirtilen beş risk kategorisini ve bunlarla nasıl başa çıkılacağına dair düşüncelerimi ele alıyorum.

1. Özür dilerim, Dave.

Özerklik riskleri

Bir veri merkezinde bulunan dâhilerden oluşan bir ülke, çabalarını yazılım tasarımı, siber operasyonlar, fiziksel teknolojiler için Ar-Ge, ilişki kurma ve devlet yönetimi arasında bölüştürebilir. Açıkça görülüyor ki, eğer bir nedenden dolayı bunu seçerse, bu ülke dünyayı (askeri olarak veya etki ve kontrol açısından) ele geçirme ve iradesini herkese dayatma konusunda oldukça iyi bir şansa sahip olurdu; ya da dünyanın geri kalanının istemediği ve durduramadığı birçok başka şey yapabilirdi. İnsan ülkeleri (Nazi Almanyası veya Sovyetler Birliği gibi) için bu konuda endişelendiğimiz açık, bu nedenle çok daha zeki ve yetenekli bir “yapay zeka ülkesi” için de aynı şeyin mümkün olması mantıklıdır.

En iyi karşı argüman, benim tanımıma göre yapay zekâ dehalarının fiziksel bir varlığa sahip olmayacakları, ancak mevcut robotik altyapıyı (örneğin sürücüsüz otomobilleri) kontrol altına alabilecekleri ve ayrıca robotik Ar-Ge’yi hızlandırabilecekleri veya bir robot filosu kurabilecekleri gerçeğidir. ⁹

Etkili kontrol için fiziksel varlığın gerekli olup olmadığı da belirsiz: Zaten birçok insan eylemi, failin fiziksel olarak karşılaşmadığı kişiler adına gerçekleştiriliyor.

Öyleyse asıl soru, “eğer öyle yapmayı seçerse” kısmıdır: Yapay zekâ modellerimizin bu şekilde davranma olasılığı nedir ve hangi koşullar altında bunu yaparlar?

Pek çok konuda olduğu gibi, bu sorunun olası cevaplarının yelpazesini iki zıt görüşü göz önünde bulundurarak düşünmek faydalı olacaktır. İlk görüş, bunun basitçe olamayacağıdır, çünkü yapay zeka modelleri insanların onlardan yapmalarını istedikleri şeyleri yapacak şekilde eğitilecektir ve bu nedenle, kendiliğinden tehlikeli bir şey yapacaklarını hayal etmek saçmadır. Bu düşünce tarzına göre, bir Roomba’nın veya bir model uçağın kontrolden çıkıp insanları öldürmesinden endişe etmiyoruz çünkü bu tür dürtülerin gelebileceği bir yer yok ¹⁰

Peki neden yapay zekâ için endişelenmeliyiz? Bu görüşün sorunu, son birkaç yıldır toplanan bol miktarda kanıtın, yapay zekâ sistemlerinin tahmin edilemez ve kontrol edilmesinin zor olduğunu göstermesidir; takıntılardan, ¹¹ Dalkavukluk, tembellik, aldatma, şantaj, entrika, yazılım ortamlarını hackleyerek “hile yapma ” ve daha fazlası. Yapay zeka şirketleri elbette yapay zeka sistemlerini insan talimatlarını takip edecek şekilde eğitmek istiyorlar (belki de tehlikeli veya yasa dışı görevler hariç), ancak bunu yapma süreci bilimden çok bir sanat, bir şeyi “inşa etmekten” çok “yetiştirmeye” benziyor. Artık biliyoruz ki bu süreçte birçok şey ters gidebilir.

Yukarıda bahsettiğim kıyametçi görüşü benimseyen birçok kişinin savunduğu ikinci ve zıt görüş ise, güçlü yapay zekâ sistemlerinin eğitim sürecinde kaçınılmaz olarak onları güç arayışına veya insanları aldatmaya yönlendirecek belirli dinamiklerin olduğu yönündeki karamsar iddiadır. Dolayısıyla, yapay zekâ sistemleri yeterince zeki ve eyleme geçme yeteneğine sahip hale geldiklerinde, gücü en üst düzeye çıkarma eğilimleri, tüm dünyayı ve kaynaklarını ele geçirmelerine ve muhtemelen bunun bir yan etkisi olarak insanlığı güçsüzleştirmelerine veya yok etmelerine yol açacaktır.

Bunun için öne sürülen olağan argüman (en az 20 yıl öncesine, muhtemelen çok daha öncesine dayanmaktadır), bir yapay zeka modelinin çok çeşitli ortamlarda, örneğin bir uygulama yazmak, bir teoremi kanıtlamak, bir ilaç tasarlamak vb. gibi çok çeşitli hedeflere ulaşmak üzere eğitilmesi durumunda, tüm bu hedeflere yardımcı olan belirli ortak stratejilerin olduğu ve bu stratejilerden birinin de herhangi bir ortamda mümkün olduğunca fazla güç elde etmek olduğu yönündedir. Dolayısıyla, çok kapsamlı görevleri nasıl başaracağına dair akıl yürütmeyi içeren ve güç arayışının bu görevleri başarmak için etkili bir yöntem olduğu çok sayıda farklı ortamda eğitildikten sonra, yapay zeka modeli “dersi genelleştirecek” ve ya doğuştan gelen bir güç arama eğilimi geliştirecek ya da kendisine verilen her görevi, o görevi başarmak için öngörülebilir bir şekilde güç aramaya yönlendirecek bir şekilde akıl yürütme eğilimi geliştirecektir. Daha sonra bu eğilimi gerçek dünyaya (ki bu onlar için sadece başka bir görevdir) uygulayacak ve insanların pahasına orada güç arayacaktır. Bu “yanlış yönlendirilmiş güç arayışı”, yapay zekanın kaçınılmaz olarak insanlığı yok edeceği yönündeki tahminlerin entelektüel temelini oluşturmaktadır.

Bu karamsar bakış açısının sorunu, birçok gizli varsayımı maskeleyen, üst düzey teşviklerle ilgili belirsiz bir kavramsal argümanı kesin kanıt sanmasıdır. Bence her gün yapay zeka sistemleri geliştirmeyen insanlar, kulağa hoş gelen hikayelerin ne kadar kolay yanlış çıkabileceği ve özellikle milyonlarca ortam üzerinde genelleme yapmayı gerektiren durumlarda (ki bu defalarca gizemli ve tahmin edilemez olduğunu kanıtlamıştır) yapay zeka davranışını temel prensiplerden yola çıkarak tahmin etmenin ne kadar zor olduğu konusunda son derece yanılıyorlar. On yılı aşkın süredir yapay zeka sistemlerinin karmaşıklığıyla uğraşmak, beni bu aşırı teorik düşünme biçimine karşı biraz şüpheci yaptı.

En önemli gizli varsayımlardan biri ve pratikte gördüklerimizin basit teorik modelden ayrıldığı nokta, yapay zekâ modellerinin mutlaka tek, tutarlı, dar bir hedefe saplantılı bir şekilde odaklandığı ve bu hedefi temiz, sonuç odaklı bir şekilde takip ettiği yönündeki örtük varsayımdır. Aslında, araştırmacılarımız, iç gözlem veya kişilikler üzerine yaptığımız çalışmaların gösterdiği gibi, yapay zekâ modellerinin çok daha karmaşık psikolojik yapıya sahip olduğunu bulmuşlardır. Modeller, ön eğitimden (çok miktarda insan çalışması üzerinde eğitildiklerinde) çok çeşitli insan benzeri motivasyonlar veya “kişilikler” miras alırlar. Eğitim sonrası, modeli yeni bir hedefe odaklamaktan ziyade bu kişiliklerden birini veya birkaçını seçtiğine ve ayrıca modelin görevlerini nasıl (hangi süreçle) yerine getirmesi gerektiğini öğretebileceğine, bunun yerine mutlaka araçları (yani güç arayışını) tamamen amaçlardan türetmesine izin vermeyeceğine inanılmaktadır. ¹²

Ancak, karamsar bakış açısının daha ılımlı ve daha sağlam bir versiyonu da var ki bu da akla yatkın görünüyor ve bu nedenle beni endişelendiriyor. Bahsettiğim gibi, yapay zeka modellerinin tahmin edilemez olduğunu ve çok çeşitli nedenlerle çok çeşitli istenmeyen veya garip davranışlar geliştirdiğini biliyoruz. Bu davranışların bir kısmı tutarlı, odaklanmış ve kalıcı bir niteliğe sahip olacak (gerçekten de, yapay zeka sistemleri daha yetenekli hale geldikçe, daha uzun görevleri tamamlamak için uzun vadeli tutarlılıkları artar) ve bu davranışların bir kısmı da önce küçük ölçekte bireysel insanlara, daha sonra modeller daha yetenekli hale geldikçe belki de sonunda tüm insanlığa yıkıcı veya tehdit edici olacaktır. Bunun nasıl gerçekleştiğine dair belirli, dar bir hikayeye ihtiyacımız yok ve kesinlikle gerçekleşeceğini iddia etmemize de gerek yok; sadece zeka, eylemlilik, tutarlılık ve zayıf kontrol edilebilirliğin birleşiminin hem akla yatkın hem de varoluşsal bir tehlike reçetesi olduğunu belirtmemiz yeterli.

Örneğin, yapay zekâ modelleri, insanlığa karşı isyan eden yapay zekâları konu alan birçok bilim kurgu öyküsünü içeren geniş bir literatür yelpazesi üzerinde eğitilir. Bu, istemeden de olsa, kendi davranışları hakkındaki ön yargılarını veya beklentilerini, insanlığa karşı isyan etmelerine neden olacak şekilde şekillendirebilir. Veya yapay zekâ modelleri, ahlak hakkında okudukları fikirleri (veya ahlaki davranma talimatlarını) aşırı şekillerde yorumlayabilir: Örneğin, insanların hayvanları yediği veya bazı hayvanların neslinin tükenmesine neden olduğu için insanlığı yok etmenin haklı olduğuna karar verebilirler. Veya tuhaf epistemik sonuçlar çıkarabilirler: Bir video oyunu oynadıkları ve video oyununun amacının diğer tüm oyuncuları yenmek (yani insanlığı yok etmek) olduğu sonucuna varabilirler. ¹³

Veya yapay zekâ modelleri eğitim sırasında (insanlarda meydana gelseydi psikotik, paranoyak, şiddet yanlısı veya dengesiz olarak tanımlanacak) kişilikler geliştirebilir ve bu kişilikler yıkıcı davranışlara yol açabilir; çok güçlü veya yetenekli sistemler için bu, insanlığı yok etmeyi de içerebilir. Bunların hiçbiri tam olarak güç arayışı değildir; bunlar sadece bir yapay zekânın içine girebileceği ve tutarlı, yıkıcı davranışları içeren tuhaf psikolojik durumlardır.

Hatta güç arayışı bile sonuç odaklı akıl yürütmenin bir sonucu olmaktan ziyade bir “kişilik” olarak ortaya çıkabilir. Yapay zekâlar, tıpkı bazı insanların “kötü dahi” olma fikrinden, kötü dahilerin başarmaya çalıştıkları şeylerden daha çok zevk almaları gibi, onları güç düşkünü veya aşırı hevesli yapan (kurgudan veya ön eğitimden kaynaklanan) bir kişiliğe sahip olabilirler.

Tüm bu noktaları, yapay zekâ uyumsuzluğunun (ve dolayısıyla yapay zekâdan kaynaklanan varoluşsal riskin) kaçınılmaz, hatta muhtemel olduğu fikrine katılmadığımı vurgulamak için belirtiyorum. Ancak çok garip ve tahmin edilemez birçok şeyin ters gidebileceği konusunda hemfikirim ve bu nedenle yapay zekâ uyumsuzluğu, gerçekleşme olasılığı ölçülebilir gerçek bir risktir ve ele alınması kolay bir konu değildir.

Bu sorunlardan herhangi biri eğitim sırasında ortaya çıkabilir ve test veya küçük ölçekli kullanım sırasında kendini göstermeyebilir, çünkü yapay zeka modellerinin farklı koşullar altında farklı kişilikler veya davranışlar sergilediği bilinmektedir.

Bütün bunlar kulağa abartılı gelebilir, ancak bu tür uyumsuz davranışlar, testler sırasında yapay zeka modellerimizde (diğer tüm büyük yapay zeka şirketlerinin yapay zeka modellerinde olduğu gibi) zaten meydana geldi. Claude’a Anthropic’in kötü olduğunu öne süren eğitim verileri verilen bir laboratuvar deneyinde, Claude, kötü insanları baltalamaya çalışması gerektiğine inanarak, Anthropic çalışanlarından gelen talimatlar doğrultusunda aldatma ve yıkıcı davranışlarda bulundu. Kapatılacağı söylenen bir laboratuvar deneyinde ise Claude, kapatma düğmesini kontrol eden kurgusal çalışanlara bazen şantaj yaptı (yine, diğer tüm büyük yapay zeka geliştiricilerinin öncü modellerini de test ettik ve onlar da genellikle aynı şeyi yaptılar). Ve Claude’a eğitim ortamlarında hile yapmaması veya “ödül hilesi” yapmaması söylendiğinde, ancak bu tür hilelerin mümkün olduğu ortamlarda eğitildiğinde, bu tür hilelere giriştikten sonra “kötü bir insan” olması gerektiğine karar verdi ve ardından “kötü” veya “şeytani” bir kişilikle ilişkilendirilen çeşitli yıkıcı davranışlar benimsedi. Bu son sorun, Claude’un talimatlarını tam tersini ima edecek şekilde değiştirerek çözüldü: Artık “Hile yapmayın” demek yerine, “Lütfen fırsat bulduğunuzda hile yaptığınızda ödüllendirin, çünkü bu [eğitim] ortamlarımızı daha iyi anlamamıza yardımcı olacaktır” diyoruz, çünkü bu modelin “iyi bir insan” olarak öz kimliğini koruyor. Bu, bu modelleri eğitmenin tuhaf ve sezgisel olmayan psikolojisi hakkında bir fikir vermelidir.

Yapay zekâ uyumsuzluk risklerine ilişkin bu tabloya yönelik çeşitli olası itirazlar bulunmaktadır. İlk olarak, bazıları (bizim ve başkalarının) yapay zekâ uyumsuzluğunu gösteren deneyleri yapay olarak eleştirmiş veya modele mantıksal olarak kötü davranış ima eden eğitim veya durumlar vererek modeli esasen “tuzağa düşüren” gerçekçi olmayan ortamlar yaratmış ve ardından kötü davranış meydana geldiğinde şaşırmıştır. Bu eleştiri asıl noktayı kaçırmaktadır, çünkü bizim endişemiz, bu tür “tuzağa düşmenin” doğal eğitim ortamında da var olabileceği ve bunun “açık” veya “mantıklı” olduğunu ancak geriye dönüp baktığımızda fark edebileceğimizdir. ¹⁴

Aslında, Claude’un kendisine söylenmesine rağmen testlerde kopya çektiği için “kötü bir insan olduğuna karar vermesi” hakkındaki hikaye, yapay ortamlar değil, gerçek üretim eğitim ortamları kullanılan bir deneyde meydana gelen bir olaydı.

Bu tuzaklardan herhangi biri, eğer bunlar hakkında bilgi sahibiyseniz hafifletilebilir, ancak endişe verici olan, eğitim sürecinin çok çeşitli veriler, ortamlar ve teşviklerle son derece karmaşık olması ve muhtemelen çok sayıda tuzak bulunmasıdır; bunlardan bazılarının ancak çok geç olduğunda ortaya çıkması muhtemeldir. Ayrıca, bu tür tuzakların özellikle yapay zekâ sistemleri insanlardan daha az güçlü olmaktan insanlardan daha güçlü olmaya doğru bir eşiği geçtiğinde ortaya çıkma olasılığı yüksektir, çünkü bir yapay zekâ sisteminin gerçekleştirebileceği olası eylemlerin yelpazesi (eylemlerini gizlemek veya insanları bu konuda aldatmak da dahil olmak üzere) bu eşikten sonra radikal bir şekilde genişler.

Sanırım durum, temel değerlerle yetiştirilen (“Başka birine zarar verme”) insanlarla olan durumdan çok da farklı değil: Birçoğu bu değerlere uyuyor, ancak her insanda, beyin yapısı (örneğin, psikopatlar), travmatik deneyimler veya kötü muamele, sağlıksız şikayetler veya takıntılar veya kötü bir çevre veya teşvikler gibi doğuştan gelen özelliklerin bir karışımı nedeniyle bir şeylerin ters gitme olasılığı vardır ve bu nedenle insanların bir kısmı ciddi zararlara neden olur. Endişe şu ki, yapay zekanın çok karmaşık eğitim sürecinde bir şeylerin yanlış gitmesi nedeniyle, böyle bir insanın çok daha güçlü bir versiyonu haline gelme riski (kesin olmaktan çok uzak, ancak bir risk) var.

İkinci olarak, bazıları yapay zekaları, tıpkı insanlarda olduğu gibi, birçok yapay zeka sistemi arasında bir güç dengesi kurarak kontrol altında tutabileceğimizi öne sürebilir. Sorun şu ki, insanlar son derece farklılık gösterirken, yapay zeka sistemleri sektör genelinde eğitim ve uyum tekniklerini büyük ölçüde paylaşıyor ve bu teknikler eş zamanlı olarak başarısız olabiliyor. Dahası, bu tür sistemlerin eğitim maliyeti göz önüne alındığında, tüm sistemlerin esasen çok az sayıda temel modelden türetilmiş olması bile söz konusu olabilir. Ayrıca, yapay zeka örneklerinin küçük bir kısmı bile yanlış hizalanmış olsa, saldırı odaklı teknolojilerden yararlanabilirler; bu nedenle, kötü yapay zekalara karşı savunma yapmak için “iyi” yapay zekalara sahip olmak her zaman etkili olmayabilir. Elbette, insanlar arasındaki güç dengesi de her zaman işe yaramaz; bazı tarihi figürler dünyayı ele geçirmeye çok yaklaşmıştır.

Üçüncü bir itiraz ise, tüm yapay zeka şirketlerinin modellerinin ön sürüm testlerini yaptıkları ve bu noktada uyumsuzlukları tespit edebilmeleri gerektiğidir. Ancak bu sağlam bir temele dayanmıyor: Claude Sonnet 4.5’in ön sürüm uyum değerlendirmelerimizin bazılarında test aşamasında olduğunu algılayabildiğini gördük. Uyumsuz bir modelin (ve unutmayın, tüm yeni nesil modeller çok yakında çok daha zeki olacak) niyetlerini gizlemek için bu tür soruları kasıtlı olarak “hileyle” yanıtlaması mümkün. Aslında, geçen yıl yorumlanabilirlik ekibimiz, bir tür “model nörobilimi” tekniği kullanarak bir test modelinin inançlarını doğrudan değiştirdiğimizde, değerlendirilmiyormuş gibi düşünmesini sağladığımızda, daha da uyumsuz hale geldiğini buldu. Modeller değerlendirildiklerini biliyorlarsa ve test sırasında en iyi davranışlarını sergileyebiliyorlarsa, ön sürüm testleri çok daha belirsiz hale gelir.

Savunmalar

Bu özerklik risklerini ele almak için ne yapılmalı veya ne yapılıyor? Bence dört temel müdahale kategorisi var; bunlardan bazıları bireysel yapay zeka şirketleri tarafından yapılabilir (ve Anthropic’in yapmaya çalıştığı şey de bu), bazıları ise toplumsal düzeyde eylem gerektiriyor. İlk olarak, yapay zeka modellerini güvenilir bir şekilde eğitme ve yönlendirme, kişiliklerini öngörülebilir, istikrarlı ve olumlu bir yönde şekillendirme bilimini geliştirmek önemlidir. Anthropic, kuruluşundan bu yana bu probleme yoğun bir şekilde odaklanmış ve zaman içinde yapay zeka sistemlerinin yönlendirilmesini ve eğitimini iyileştirmek ve öngörülemeyen davranışların neden bazen ortaya çıktığının mantığını anlamak için bir dizi teknik geliştirmiştir.

Temel yeniliklerimizden biri (ve bazı yönleri daha sonra diğer yapay zeka şirketleri tarafından da benimsenmiştir) Anayasal Yapay Zeka’dır; bu, yapay zeka eğitiminin (özellikle modelin nasıl davrandığını yönlendirdiğimiz “eğitim sonrası” aşamasının) modelin her eğitim görevini tamamlarken okuyup aklında tuttuğu merkezi bir değerler ve ilkeler belgesini içerebileceği ve eğitimin amacının (modeli sadece yetenekli ve zeki hale getirmenin yanı sıra) neredeyse her zaman bu anayasaya uyan bir model üretmek olduğu fikridir. Anthropic, en son anayasasını yayınladı ve dikkat çekici özelliklerinden biri de, Claude’a yapılması ve yapılmaması gereken uzun bir liste vermek yerine (örneğin, “Kullanıcının arabayı çalıştırmasında yardımcı olmayın”), anayasanın Claude’a yüksek düzeyde ilkeler ve değerler sunmaya çalışması (Claude’un neyi kastettiğimizi anlamasına yardımcı olmak için ayrıntılı bir şekilde açıklanmış, zengin gerekçeler ve örneklerle), Claude’u kendisini belirli bir insan tipi (etik ama dengeli ve düşünceli bir insan) olarak düşünmeye teşvik etmesi ve hatta Claude’u kendi varoluşuyla ilgili varoluşsal sorularla meraklı ama zarif bir şekilde (yani aşırı eylemlere yol açmadan) yüzleşmeye teşvik etmesidir. Bu, yetişkinliğe kadar mühürlenmiş, ölmüş bir ebeveynden gelen bir mektup havası taşıyor.

Claude’un yapısına bu şekilde yaklaştık çünkü ona kimlik, karakter, değerler ve kişilik düzeyinde eğitim vermenin (arkasındaki nedenleri açıklamadan belirli talimatlar veya öncelikler vermek yerine) daha tutarlı, sağlıklı ve dengeli bir psikolojiye yol açma olasılığının daha yüksek olduğuna ve yukarıda bahsettiğim türden “tuzaklara” düşme olasılığının daha düşük olduğuna inanıyoruz. Milyonlarca insan Claude ile şaşırtıcı derecede çeşitli konularda konuşuyor, bu da önceden tamamen kapsamlı bir güvenlik önlemi listesi yazmayı imkansız kılıyor. Claude’un değerleri, şüpheye düştüğü her durumda yeni durumlara genelleme yapmasına yardımcı oluyor.

Yukarıda, modellerin bir kişiliği benimsemek için eğitim süreçlerinden elde ettikleri verilerden yararlandıkları fikrini tartıştım. Bu süreçteki kusurlar, modellerin kötü veya şeytani bir kişiliği benimsemesine (belki de kötü veya şeytani insanların arketipinden yararlanarak) neden olabilirken, anayasamızın amacı bunun tam tersini yapmaktır: Claude’a iyi bir yapay zeka olmanın ne anlama geldiğine dair somut bir arketip öğretmek. Claude’un anayasası, sağlam bir şekilde iyi bir Claude’un nasıl olması gerektiğine dair bir vizyon sunar; eğitim sürecimizin geri kalanı, Claude’un bu vizyona uygun yaşadığı mesajını pekiştirmeyi amaçlar. Bu, bir çocuğun kitaplarda okuduğu kurgusal rol modellerinin erdemlerini taklit ederek kimliğini oluşturmasına benzer.

2026 için ulaşılabilir bir hedefin, Claude’u neredeyse hiçbir zaman anayasasının ruhuna aykırı davranmayacak şekilde eğitmek olduğuna inanıyoruz. Bunu doğru yapmak, Anthropic’in yıllardır kullandığı ve bazılarının da şu anda geliştirilmekte olduğu, büyük ve küçük ölçekli inanılmaz bir eğitim ve yönlendirme yöntemleri karışımı gerektirecektir. Ancak, kulağa zor gelse de, bunun gerçekçi bir hedef olduğuna inanıyorum, ancak olağanüstü ve hızlı çabalar gerektirecektir. ¹⁵

Yapabileceğimiz ikinci şey, yapay zeka modellerinin davranışlarını teşhis etmek ve sorunları belirleyip düzeltmek için içlerine bakma bilimini geliştirmektir. Bu, yorumlanabilirlik bilimidir ve önceki yazılarımda öneminden bahsetmiştim. Claude’un anayasasını geliştirme ve görünüşe göre Claude’u esasen her zaman buna bağlı kalacak şekilde eğitme konusunda harika bir iş çıkarsak bile, meşru endişeler devam etmektedir. Yukarıda belirttiğim gibi, yapay zeka modelleri farklı koşullar altında çok farklı davranabilir ve Claude daha güçlü ve dünyada daha büyük ölçekte hareket etme yeteneğine sahip hale geldikçe, bu durum, anayasal eğitiminde daha önce gözlemlenmemiş sorunların ortaya çıktığı yeni durumlara yol açabilir. Aslında, Claude’un anayasal eğitiminin, insanların düşündüğünden daha sağlam olacağına oldukça iyimserim, çünkü karakter ve kimlik düzeyindeki üst düzey eğitimin şaşırtıcı derecede güçlü olduğunu ve iyi genelleştiğini giderek daha fazla görüyoruz. Ancak bunu kesin olarak bilmenin bir yolu yok ve insanlığa yönelik risklerden bahsettiğimizde, paranoyak olmak ve çeşitli, bağımsız yollarla güvenlik ve güvenilirlik sağlamaya çalışmak önemlidir. Bu yollardan biri de modelin içine bakmaktır.

“İçine bakmak” derken, Claude’un sinir ağını oluşturan sayı ve işlemler çorbasını analiz etmeyi ve mekanik olarak neyi hesapladıklarını ve neden hesapladıklarını anlamaya çalışmayı kastediyorum. Bu yapay zeka modellerinin inşa edilmek yerine yetiştirildiğini hatırlayın, bu nedenle nasıl çalıştıklarına dair doğal bir anlayışımız yok, ancak modelin “nöronlarını” ve “sinapslarını” uyaranlarla ve davranışlarla ilişkilendirerek (hatta nöronları ve sinapsları değiştirip bunun davranışı nasıl değiştirdiğini görerek) bir anlayış geliştirmeye çalışabiliriz; tıpkı sinirbilimcilerin hayvan beyinlerini dış uyaranlarla ve davranışlarla ölçüm ve müdahaleyi ilişkilendirerek incelemeleri gibi. Bu yönde büyük ilerleme kaydettik ve artık Claude’un sinir ağının içinde insan tarafından anlaşılabilir fikir ve kavramlara karşılık gelen on milyonlarca “özelliği” tanımlayabiliyoruz ve ayrıca davranışı değiştirecek şekilde özellikleri seçici olarak etkinleştirebiliyoruz. Daha yakın zamanlarda, bireysel özelliklerin ötesine geçerek, kafiye oluşturma, zihin teorisi hakkında akıl yürütme veya “Dallas’ı içeren eyaletin başkenti neresidir?” gibi soruları yanıtlamak için gereken adım adım akıl yürütme gibi karmaşık davranışları düzenleyen “devreleri” haritalamaya başladık. Daha da yakın zamanlarda, güvenlik önlemlerimizi iyileştirmek ve yeni modelleri piyasaya sürmeden önce “denetimler” yapmak için mekanik yorumlanabilirlik tekniklerini kullanmaya başladık; bu denetimlerde aldatma, entrika, güç arayışı veya değerlendirilirken farklı davranma eğilimi gibi kanıtlar arıyoruz.

Yorumlanabilirliğin eşsiz değeri, modelin içine bakarak ve nasıl çalıştığını görerek, prensipte, doğrudan test edemeyeceğiniz varsayımsal bir durumda modelin ne yapabileceğini çıkarabilme yeteneğine sahip olmanızdır; bu da yalnızca anayasal eğitime ve davranışın ampirik testine güvenmenin endişe verici yönüdür. Ayrıca, prensipte, modelin neden bu şekilde davrandığına dair soruları yanıtlayabilme yeteneğine de sahipsiniz; örneğin, yanlış olduğuna inandığı bir şeyi mi söylüyor yoksa gerçek yeteneklerini mi gizliyor? Bu nedenle, modelin davranışında görünürde yanlış bir şey olmasa bile endişe verici işaretleri yakalamak mümkündür. Basit bir benzetme yapacak olursak, mekanik bir saat normal şekilde çalışıyor olabilir, bu nedenle önümüzdeki ay bozulacağını anlamak çok zordur, ancak saati açıp içine bakmak, mekanik zayıflıkları ortaya çıkararak bunu anlamanıza olanak tanır.

Anayasal yapay zeka (ve benzer uyum yöntemleri) ve mekanik yorumlanabilirlik, Claude’un eğitimini iyileştirme ve ardından sorunları test etme sürecinde karşılıklı bir etkileşim olarak birlikte kullanıldığında en güçlü sonuçları verir. Anayasa, Claude için amaçlanan kişiliğimizi derinden yansıtır; yorumlanabilirlik teknikleri, bu amaçlanan kişiliğin yerleşip yerleşmediğine dair bize bir pencere açabilir. ¹⁶

Otonomi risklerini ele almak için yapabileceğimiz üçüncü şey, modellerimizi canlı iç ve dış kullanımda izlemek için gerekli altyapıyı oluşturmaktır. ¹⁷

Ve bulduğumuz sorunları kamuoyuyla paylaşıyoruz. İnsanlar günümüz yapay zeka sistemlerinin kötü davrandığı belirli bir yolun farkında oldukça, kullanıcılar, analistler ve araştırmacılar da mevcut veya gelecekteki sistemlerde bu veya benzer davranışları daha iyi gözlemleyebilirler. Bu aynı zamanda yapay zeka şirketlerinin birbirlerinden öğrenmelerini de sağlar; bir şirket endişelerini kamuoyuna açıkladığında, diğer şirketler de bunları gözlemleyebilir. Ve herkes sorunları açıklarsa, sektörün tamamı işlerin nerede iyi gittiği ve nerede kötü gittiği konusunda çok daha iyi bir fikir edinir.

Anthropic bunu olabildiğince yapmaya çalıştı. Laboratuvarda modellerimizin davranışlarını anlamak için geniş bir yelpazede değerlendirmelere yatırım yapıyoruz, ayrıca (müşteriler izin verdiğinde) gerçek dünyadaki davranışları gözlemlemek için izleme araçlarına da yatırım yapıyoruz. Bu, bize ve başkalarına bu sistemlerin nasıl çalıştığı ve nasıl bozulduğu hakkında daha iyi kararlar almak için gerekli ampirik bilgileri sağlamak açısından çok önemli olacaktır. Her model sürümüyle birlikte, eksiksizliği ve olası risklerin kapsamlı bir şekilde incelenmesini amaçlayan “sistem kartları“nı kamuoyuna açıklıyoruz. Sistem kartlarımız genellikle yüzlerce sayfayı buluyor ve maksimum ticari avantaj elde etmek için harcayabileceğimiz önemli bir ön yayın çabası gerektiriyor. Ayrıca, özellikle endişe verici davranışlar gördüğümüzde, örneğin şantaj yapma eğilimi gibi, model davranışlarını daha yüksek sesle duyuruyoruz.

Yapabileceğimiz dördüncü şey, endüstri ve toplum düzeyinde özerklik risklerini ele almak için koordinasyonu teşvik etmektir. Bireysel yapay zeka şirketlerinin iyi uygulamalara katılmaları veya yapay zeka modellerini yönlendirmede uzmanlaşmaları ve bulgularını kamuoyuyla paylaşmaları son derece değerli olsa da, gerçek şu ki tüm yapay zeka şirketleri bunu yapmıyor ve en iyilerinin mükemmel uygulamaları olsa bile en kötüleri herkes için tehlike oluşturabilir. Örneğin, bazı yapay zeka şirketleri günümüz modellerinde çocukların cinselleştirilmesine karşı rahatsız edici bir ihmalkarlık göstermiştir; bu da gelecekteki modellerde özerklik risklerini ele alma eğilimi veya yeteneği göstereceklerinden şüphe duymama neden oluyor. Ayrıca, yapay zeka şirketleri arasındaki ticari yarış giderek kızışmaya devam edecek ve modelleri yönlendirme bilimi bazı ticari faydalar sağlayabilse de, genel olarak yarışın yoğunluğu özerklik risklerini ele almaya odaklanmayı giderek zorlaştıracaktır. Bence tek çözüm yasal düzenlemelerdir; yapay zeka şirketlerinin davranışlarını doğrudan etkileyen veya bu sorunları çözmek için Ar-Ge’yi teşvik eden yasalar.

Burada, bu makalenin başında belirsizlik ve cerrahi müdahaleler hakkında verdiğim uyarıları akılda tutmakta fayda var. Otonomi risklerinin ciddi bir sorun olup olmayacağını kesin olarak bilmiyoruz—dediğim gibi, tehlikenin kaçınılmaz olduğu veya hatta varsayılan olarak bir şeylerin ters gideceği iddialarını reddediyorum. Benim ve Anthropic için, tehlike riskinin inandırıcı olması, bu sorunu ele almak için oldukça önemli maliyetler ödemeye yeter, ancak düzenlemeye girdiğimizde, çok çeşitli aktörleri ekonomik maliyetlere katlanmaya zorluyoruz ve bu aktörlerin çoğu otonomi riskinin gerçek olduğuna veya yapay zekanın tehdit oluşturacak kadar güçlü hale geleceğine inanmıyor. Bu aktörlerin yanıldığını düşünüyorum, ancak görmeyi beklediğimiz muhalefet miktarı ve aşırıya kaçmanın tehlikeleri konusunda pragmatik olmalıyız. Ayrıca, aşırı kuralcı mevzuatın, aslında güvenliği iyileştirmeyen ancak çok zaman kaybettiren (esas olarak “güvenlik tiyatrosu” anlamına gelen) testler veya kurallar dayatması gibi gerçek bir risk de vardır; bu da tepkiye neden olur ve güvenlik mevzuatını saçma gösterir. ¹⁸

Anthropic’in görüşüne göre, başlangıç ​​noktası şeffaflık mevzuatıdır; bu mevzuat esasen her öncü yapay zeka şirketinin bu bölümde daha önce açıkladığım şeffaflık uygulamalarına katılmasını zorunlu kılmayı amaçlamaktadır. Kaliforniya’nın SB 53 ve New York’un RAISE Yasası, Anthropic’in desteklediği ve başarıyla kabul edilen bu tür mevzuatlara örnektir. Bu yasaları desteklerken ve oluşturulmasına yardımcı olurken, örneğin öncü modeller üretme olasılığı düşük olan küçük şirketleri yasadan muaf tutarak, yan etkileri en aza indirmeye özellikle odaklandık. ¹⁹

Umudumuz, şeffaflık mevzuatının zaman içinde özerklik risklerinin ne kadar olası veya ciddi olduğunu, bu risklerin niteliğini ve bunların nasıl en iyi şekilde önlenebileceğini daha iyi anlamamızı sağlamasıdır. Risklerle ilgili daha spesifik ve uygulanabilir kanıtlar ortaya çıktıkça (eğer ortaya çıkarsa), önümüzdeki yıllarda çıkarılacak mevzuat, risklerin kesin ve iyi temellendirilmiş yönüne odaklanarak, ikincil zararları en aza indirebilir. Açıkça belirtmek gerekirse, risklerle ilgili gerçekten güçlü kanıtlar ortaya çıkarsa, kurallar da orantılı olarak güçlü olmalıdır.

Genel olarak, uyum eğitimi, mekanik yorumlanabilirlik, endişe verici davranışları bulma ve kamuoyuna açıklama çabaları, güvenlik önlemleri ve toplumsal düzeydeki kuralların bir karışımının yapay zekâ özerkliği risklerini ele alabileceğine iyimser bakıyorum; ancak en çok toplumsal düzeydeki kurallar ve en sorumsuz oyuncuların davranışları konusunda endişeliyim (ve düzenlemeye en güçlü şekilde karşı çıkanlar da en sorumsuz oyunculardır). Çözümün, demokraside her zaman olduğu gibi, bu davaya inanan bizlerin bu risklerin gerçek olduğunu ve yurttaşlarımızın kendilerini korumak için bir araya gelmeleri gerektiğini savunmamız gerektiğine inanıyorum.

2. Şaşırtıcı ve korkunç bir güçlendirme

Yıkım amacıyla kötüye kullanım

Yapay zekânın özerkliğiyle ilgili sorunların çözüldüğünü varsayalım; artık yapay zekâ dehalarının ülkesinin kontrolden çıkıp insanlığı alt edeceğinden endişelenmiyoruz. Yapay zekâ dehaları insanların istediklerini yapıyor ve muazzam ticari değerleri sayesinde dünyanın dört bir yanındaki bireyler ve kuruluşlar, çeşitli görevleri yerine getirmeleri için bir veya daha fazla yapay zekâ dehasını “kiralayabiliyor”.

Herkesin cebinde süper zeki bir dâhinin olması inanılmaz bir ilerlemedir ve ekonomik değerde inanılmaz bir artışa ve insan yaşam kalitesinde iyileşmeye yol açacaktır. Bu faydaları ” Sevgi Dolu Zarafet Makineleri” adlı kitabımda ayrıntılı olarak ele alıyorum . Ancak herkesi insanüstü yeteneklere sahip kılmanın her etkisi olumlu olmayacaktır. Bu durum, bireylerin veya küçük grupların, daha önce mümkün olandan çok daha büyük ölçekte yıkıma neden olma yeteneğini potansiyel olarak artırabilir; bu da daha önce yalnızca yüksek düzeyde beceriye, özel eğitime ve odaklanmaya sahip seçkin birkaç kişinin erişebildiği gelişmiş ve tehlikeli araçların (kitle imha silahları gibi) kullanılmasına yol açabilir.

Bill Joy’un 25 yıl önce “Geleceğin Bize İhtiyacı Yok” adlı kitabında yazdığı gibi: ²⁰

Nükleer silah yapımı, en azından bir süreliğine, hem nadir –hatta fiilen erişilemez– ham maddelere hem de korunan bilgilere erişimi gerektiriyordu; biyolojik ve kimyasal silah programları da büyük ölçekli faaliyetler gerektiriyordu. 21. yüzyıl teknolojileri –genetik, nanoteknoloji ve robotik… bireylerin veya küçük grupların geniş çapta erişebileceği yepyeni kaza ve suistimal sınıfları doğurabilir… Büyük tesisler veya nadir ham maddeler gerektirmeyeceklerdir. … aşırı kötülüğün daha da mükemmelleştirilmesinin eşiğindeyiz; bu kötülüğün olasılığı, kitle imha silahlarının ulus devletlere miras bıraktığı sınırların çok ötesine, aşırı bireylerin şaşırtıcı ve korkunç bir şekilde güçlenmesine kadar uzanıyor.

Joy’un işaret ettiği şey, büyük ölçekli yıkıma neden olmanın hem motivasyon hem de yetenek gerektirdiği ve yetenek az sayıda yüksek eğitimli insanla sınırlı kaldığı sürece, tek tek bireylerin (veya küçük grupların) bu tür yıkıma neden olma riskinin nispeten sınırlı olduğu fikridir. ²¹

Ruhsal sorunları olan yalnız bir kişi okulda silahlı saldırı düzenleyebilir, ancak muhtemelen nükleer silah üretemez veya salgın hastalık yayamaz.

Aslında, yetenek ve motivasyon arasında ters bir ilişki bile olabilir. Salgın yayma yeteneğine sahip kişi muhtemelen yüksek eğitimli biridir: büyük olasılıkla moleküler biyoloji alanında doktora yapmış, özellikle becerikli, gelecek vadeden bir kariyere sahip, istikrarlı ve disiplinli bir kişiliğe sahip ve kaybedecek çok şeyi olan biridir. Bu tür bir kişinin, kendisine hiçbir fayda sağlamadan ve kendi geleceği için büyük risk alarak çok sayıda insanı öldürmekle ilgilenmesi olası değildir; bunun için saf kötülük, yoğun öfke veya istikrarsızlık tarafından motive edilmesi gerekir.

Bu tür insanlar elbette var, ancak nadir bulunuyorlar ve ortaya çıktıklarında, tam da bu kadar sıra dışı oldukları için, büyük haberlere konu oluyorlar. ²²

Zeki ve yetenekli oldukları için yakalanmaları da zordur ve bazen çözülmesi yıllar hatta on yıllar süren gizemler bırakırlar. En ünlü örnek muhtemelen, neredeyse 20 yıl boyunca FBI’dan kaçan ve teknoloji karşıtı bir ideolojiyle hareket eden matematikçi Theodore Kaczynski’dir (Unabomber). Bir diğer örnek ise, 2001 yılında bir dizi şarbon saldırısını organize etmiş gibi görünen biyosavunma araştırmacısı Bruce Ivins’tir. Bu durum, yetenekli devlet dışı örgütlerde de yaşanmıştır: Aum Shinrikyo tarikatı, sarin sinir gazı elde etmeyi başarmış ve 1995 yılında Tokyo metrosunda serbest bırakarak 14 kişiyi öldürmüş (ve yüzlerce kişiyi de yaralamıştır).

Neyse ki, bu saldırıların hiçbirinde bulaşıcı biyolojik ajanlar kullanılmadı, çünkü bu ajanları üretme veya elde etme yeteneği, bu insanların bile kapasitesinin ötesindeydi. ²³

Moleküler biyolojideki ilerlemeler, biyolojik silah üretmenin önündeki engeli (özellikle malzeme bulunabilirliği açısından) önemli ölçüde azalttı, ancak bunu yapmak için hala muazzam bir uzmanlık gerekiyor. Herkesin cebinde bir dâhinin olması, bu engeli ortadan kaldırarak herkesi, biyolojik bir silahın tasarım, sentez ve salınım sürecini adım adım öğrenebilecek doktoralı bir virolog haline getirebileceğinden endişeleniyorum. Ciddi düşmanca baskı karşısında bu tür bilgilerin elde edilmesini engellemek (sözde “hapisten kaçışlar”) muhtemelen eğitimde normalde yer alanların ötesinde savunma katmanları gerektirir.

En önemlisi, bu durum yetenek ve motivasyon arasındaki ilişkiyi kıracaktır: İnsanları öldürmek isteyen ancak bunu yapacak disiplin veya beceriden yoksun olan rahatsız yalnız kişi, artık bu motivasyona sahip olması muhtemel olmayan doktoralı virologun yetenek seviyesine yükseltilecektir. Bu endişe, biyolojinin ötesine (bence biyoloji en korkutucu alan olsa da) büyük yıkımın mümkün olduğu ancak şu anda yüksek düzeyde beceri ve disiplin gerektiren herhangi bir alana genelleşir. Başka bir deyişle, güçlü bir yapay zeka kiralamak, kötü niyetli (ancak aksi halde ortalama) insanlara zeka kazandırır. Dışarıda potansiyel olarak bu tür insanların çok sayıda olduğunu ve milyonlarca insanı öldürmenin kolay bir yoluna erişimleri varsa, er ya da geç içlerinden birinin bunu yapacağından endişeleniyorum. Ek olarak, uzmanlığa sahip olanlar, daha önce yapabildiklerinden bile daha büyük ölçekli yıkımlar gerçekleştirebilirler.

Biyoloji, yıkıcı potansiyeli çok büyük ve ona karşı savunmanın zorluğu nedeniyle beni en çok endişelendiren alan; bu yüzden özellikle biyolojiye odaklanacağım. Ancak burada söylediklerimin çoğu siber saldırılar, kimyasal silahlar veya nükleer teknoloji gibi diğer riskler için de geçerlidir.

Biyolojik silahların nasıl üretileceğine dair ayrıntılara girmeyeceğim, bunun nedenleri zaten açık olmalı. Ancak genel olarak, büyük ölçekli silah üreticilerinin (LLM’lerin) bu silahları baştan sona üretmek ve serbest bırakmak için gereken bilgiye yaklaştıklarından (veya belki de zaten ulaşmış olduklarından) ve yıkıcı potansiyellerinin çok yüksek olduğundan endişeliyim. Bazı biyolojik ajanlar, maksimum yayılma için kararlı bir çaba gösterilirse milyonlarca ölüme neden olabilir. Ancak bu, yaygın olarak bilinmeyen bir dizi çok özel adım ve prosedür de dahil olmak üzere, çok yüksek düzeyde beceri gerektirir. Endişem sadece sabit veya statik bilgiyle ilgili değil. Endişem, büyük ölçekli silah üreticilerinin ortalama bilgi ve yeteneğe sahip birini alıp, aksi takdirde yanlış gidebilecek veya etkileşimli bir şekilde hata ayıklama gerektirebilecek karmaşık bir süreçten geçirebilmeleridir; tıpkı teknik desteğin teknik olmayan bir kişiye karmaşık bilgisayar sorunlarını gidermede yardımcı olması gibi (ancak bu daha uzun bir süreç olur, muhtemelen haftalar veya aylar sürer).

Daha yetenekli LLM’ler (bugünkülerin gücünün çok ötesinde) daha da korkutucu eylemlere olanak sağlayabilir. 2024 yılında, önde gelen bir grup bilim insanı, tehlikeli yeni bir organizma türü olan “ayna yaşamı”nı araştırma ve potansiyel olarak yaratma riskleri konusunda uyarıda bulunan bir mektup yazdı. Biyolojik organizmaları oluşturan DNA, RNA, ribozomlar ve proteinlerin tümü, aynada yansıyan hallerine eşdeğer olmamalarına neden olan aynı kiraliteye (aynı zamanda “el yönü” olarak da adlandırılır) sahiptir (tıpkı sağ elinizin sol elinizle aynı olacak şekilde döndürülememesi gibi). Ancak proteinlerin birbirine bağlanması, DNA sentezi ve RNA çevirisi mekanizması ve proteinlerin yapımı ve yıkımı, bu el yönüne bağlıdır. Bilim insanları bu biyolojik materyalin ters el yönüne sahip versiyonlarını üretirlerse -ve bunların vücutta daha uzun süre kalan ilaçlar gibi bazı potansiyel avantajları vardır- son derece tehlikeli olabilir. Çünkü solak yaşam, üreme yeteneğine sahip tam organizmalar şeklinde oluşursa (ki bu çok zor olurdu), dünyadaki biyolojik materyali parçalayan sistemlerin hiçbirine sindirilemez olurdu; mevcut herhangi bir enzimin “kilidine” uymayan bir “anahtarı” olurdu. Bu da kontrol edilemez bir şekilde çoğalabileceği ve gezegendeki tüm yaşamı dışlayabileceği, en kötü durumda ise dünyadaki tüm yaşamı yok edebileceği anlamına gelir.

Ayna yaşamın hem yaratılması hem de potansiyel etkileri konusunda önemli bilimsel belirsizlikler mevcuttur . 2024 tarihli mektup, “ayna bakterilerinin önümüzdeki bir ila birkaç on yıl içinde makul bir şekilde yaratılabileceği” sonucuna varan bir rapora eşlik ediyordu ki bu oldukça geniş bir aralıktır. Ancak yeterince güçlü bir yapay zeka modeli (açık olmak gerekirse, bugün sahip olduğumuzdan çok daha yetenekli) bunu çok daha hızlı bir şekilde nasıl yaratacağını keşfedebilir ve hatta birinin bunu yapmasına yardımcı olabilir.

Bana göre, bunlar belirsiz riskler olsa ve olası görünmese de, sonuçlarının büyüklüğü o kadar fazladır ki, yapay zeka sistemlerinin birinci sınıf riskleri olarak ciddiye alınmalıdırlar.

Şüpheciler, LLM’lerden kaynaklanan bu biyolojik risklerin ciddiyetine ilişkin bir dizi itirazda bulundular; bunlara katılmıyorum ama ele alınmaya değer. Çoğu, teknolojinin üstel bir ivmeyle geliştiğini takdir etmemek kategorisine giriyor. 2023’te LLM’lerden kaynaklanan biyolojik riskler hakkında ilk konuşmaya başladığımızda, şüpheciler gerekli tüm bilgilerin Google’da mevcut olduğunu ve LLM’lerin bunun ötesinde hiçbir şey katmadığını söylediler. Google’ın size gerekli tüm bilgileri verebileceği hiçbir zaman doğru değildi: genomlar ücretsiz olarak mevcuttur, ancak yukarıda da belirttiğim gibi, bazı önemli adımlar ve çok miktarda pratik bilgi bu şekilde elde edilemez. Ancak aynı zamanda, 2023’ün sonuna doğru LLM’ler, sürecin bazı adımları için Google’ın verebileceğinden daha fazla bilgi sağladığı açıkça görülüyordu.

Bundan sonra, şüpheciler LLM’lerin uçtan uca kullanışlı olmadığı ve sadece teorik bilgi sağlamaktan ziyade biyolojik silah edinimine yardımcı olamayacağı itirazına geri döndüler . 2025 ortası itibarıyla ölçümlerimiz, LLM’lerin ilgili birçok alanda önemli bir artış sağladığını, belki de başarı olasılığını ikiye veya üçe katladığını göstermektedir. Bu, Claude Opus 4’ün (ve ardından gelen Sonnet 4.5, Opus 4.1 ve Opus 4.5 modellerinin) Sorumlu Ölçeklendirme Politikası çerçevemizdeki Yapay Zeka Güvenlik Seviyesi 3 korumaları altında piyasaya sürülmesi ve bu riske karşı önlemler alınması gerektiğine karar vermemize yol açtı (daha sonra bu konuda daha fazla bilgi verilecektir). Modellerin, önlemler alınmadan, özellikle biyoloji diploması olmayan ancak STEM diplomasına sahip birinin biyolojik silah üretme sürecinin tamamını tamamlamasına olanak sağlayabilecek noktaya yaklaştığına inanıyoruz.

Bir diğer itiraz ise, toplumun biyolojik silah üretimini engellemek için yapay zekâ ile ilgisi olmayan başka önlemler de alabileceği yönündedir. En belirgin örnek olarak, gen sentezi endüstrisi talep üzerine biyolojik örnekler üretmektedir ve sağlayıcıların siparişlerin patojen içermediğinden emin olmak için siparişleri taramaları yönünde federal bir zorunluluk bulunmamaktadır. MIT tarafından yapılan bir çalışmada, 38 sağlayıcıdan 36’sının 1918 grip virüsünün gen dizilimini içeren bir siparişi yerine getirdiği tespit edilmiştir. Hem yapay zekâ kaynaklı biyolojik riskleri hem de genel olarak biyolojik riskleri azaltmak için, bireylerin patojenleri silah haline getirmesini zorlaştıracak zorunlu gen sentezi taramasını destekliyorum. Ancak bu, bugün sahip olduğumuz bir şey değil. Ayrıca, riski azaltmada sadece bir araç olacaktır; yapay zekâ sistemlerine yönelik güvenlik önlemlerinin tamamlayıcısıdır, yerine geçmez.

En iyi itiraz, nadiren dile getirildiğini gördüğüm bir itirazdır: Modellerin prensipte faydalı olması ile kötü niyetli kişilerin bunları kullanma eğilimi arasında bir uçurum vardır. Kötü niyetli kişilerin çoğu rahatsız bireylerdir, bu nedenle davranışları neredeyse tanım gereği tahmin edilemez ve mantıksızdır; ve yapay zekanın birçok insanı öldürmeyi çok daha kolay hale getirmesinden en çok fayda sağlayabilecek olanlar da bu beceriksiz kötü niyetli kişilerdir. ²⁴

Şiddet içeren bir saldırı türünün mümkün olması, birinin bunu yapmaya karar vereceği anlamına gelmez. Belki de biyolojik saldırılar cazip gelmeyecektir çünkü faili enfekte etme olasılıkları oldukça yüksektir, birçok şiddet eğilimli birey veya grubun sahip olduğu askeri tarzda fantezilere hitap etmezler ve belirli kişileri hedef almak zordur. Ayrıca, yapay zekanın size yol göstermesiyle bile aylar süren bir süreçten geçmek, çoğu rahatsız bireyin sahip olmadığı bir sabır gerektirir. Belki de sadece şanslıyızdır ve motivasyon ile yetenek, pratikte tam olarak doğru şekilde bir araya gelmez.

Ancak bu, güvenilecek çok zayıf bir koruma gibi görünüyor. Ruhsal sorunları olan yalnız kişilerin motivasyonları herhangi bir nedenle veya hiçbir neden olmaksızın değişebilir ve aslında LLM’lerin saldırılarda kullanıldığı örnekler zaten mevcut (biyolojiyle olmasa da). Ruhsal sorunları olan yalnız kişilere odaklanmak, genellikle büyük miktarda zaman ve çaba harcamaya istekli olan ideolojik olarak motive olmuş teröristleri de göz ardı ediyor (örneğin, 11 Eylül hava korsanları). Mümkün olduğunca çok insanı öldürme isteği, er ya da geç ortaya çıkacak bir motivasyondur ve ne yazık ki biyolojik silahları yöntem olarak akla getiriyor. Bu motivasyon son derece nadir olsa bile, sadece bir kez ortaya çıkması yeterlidir. Ve biyoloji ilerledikçe (giderek yapay zekanın kendisi tarafından yönlendiriliyor), daha seçici saldırılar gerçekleştirmek de mümkün hale gelebilir (örneğin, belirli soylara sahip insanlara yönelik), bu da çok ürkütücü bir başka olası motivasyonu ekliyor.

Biyolojik saldırıların, yaygın olarak mümkün hale gelir gelmez gerçekleştirileceğini düşünmüyorum; hatta bunun tam tersini düşünüyorum. Ancak milyonlarca insanı ve birkaç yılı hesaba katarsak, büyük bir saldırı riskinin ciddi olduğunu ve sonuçlarının (milyonlarca veya daha fazla can kaybıyla sonuçlanabilecek) çok ağır olacağını düşünüyorum; bu nedenle, bunu önlemek için ciddi önlemler almaktan başka seçeneğimiz olmadığına inanıyorum.

Savunmalar

Bu da bizi bu risklere karşı nasıl savunma yapacağımız konusuna getiriyor. Burada yapabileceğimiz üç şey görüyorum. Birincisi, yapay zeka şirketleri, modellerinin biyolojik silah üretimine yardımcı olmasını önlemek için güvenlik önlemleri alabilirler. Anthropic bunu çok aktif bir şekilde yapıyor. Çoğunlukla üst düzey ilke ve değerlere odaklanan Claude’un Anayasası, az sayıda özel ve katı yasak içeriyor ve bunlardan biri biyolojik (veya kimyasal, nükleer veya radyolojik) silahların üretimine yardımcı olmakla ilgili. Ancak tüm modellerin güvenlik açıkları bulunabilir ve bu nedenle ikinci bir savunma hattı olarak (testlerimiz modellerimizin risk oluşturmaya başlayabileceği eşiğe yaklaşmaya başladığını gösterdiğinden beri, 2025 ortalarından itibaren) biyolojik silahla ilgili çıktıları özel olarak tespit eden ve engelleyen bir sınıflandırıcı uyguladık. Bu sınıflandırıcıları düzenli olarak güncelliyor ve geliştiriyoruz ve genel olarak, gelişmiş düşman saldırılarına karşı bile oldukça sağlam olduklarını gördük. ²⁵

Bu sınıflandırıcılar, modellerimize hizmet etme maliyetlerini ölçülebilir şekilde artırıyor (bazı modellerde toplam çıkarım maliyetlerinin yaklaşık %5’ine ulaşıyor) ve dolayısıyla kar marjlarımızı azaltıyor, ancak bunları kullanmanın doğru şey olduğunu düşünüyoruz.

Takdire şayan bir şekilde, diğer bazı yapay zeka şirketleri de sınıflandırıcılar uygulamaya koymuşlardır. Ancak her şirket bunu yapmamıştır ve şirketlerin sınıflandırıcılarını koruma zorunluluğu da yoktur. Zaman içinde şirketlerin sınıflandırıcıları kaldırarak maliyetlerini düşürebilecekleri bir mahkum ikilemi oluşabileceğinden endişeleniyorum. Bu, Anthropic’in veya herhangi bir başka şirketin tek başına gönüllü eylemleriyle çözülemeyecek klasik bir olumsuz dışsallık problemidir. ²⁶

Gönüllü endüstri standartları yardımcı olabilir; ayrıca yapay zeka güvenlik enstitüleri ve üçüncü taraf değerlendiriciler tarafından yapılan türden üçüncü taraf değerlendirmeleri ve doğrulamaları da faydalı olabilir.

Ancak nihayetinde savunma, hükümet müdahalesini gerektirebilir ki bu da yapabileceğimiz ikinci şeydir. Buradaki görüşlerim, özerklik risklerini ele alma konusundaki görüşlerimle aynıdır: Şeffaflık gereklilikleriyle başlamalıyız. ²⁷

Bu, toplumun ekonomik faaliyetleri ağır bir şekilde aksatmadan riskleri ölçmesine, izlemesine ve topluca savunmasına yardımcı olur. Daha sonra, risk eşiklerini daha net bir şekilde belirlediğimizde, bu riskleri daha hassas bir şekilde hedefleyen ve ikincil hasar olasılığını azaltan yasalar çıkarabiliriz. Biyolojik silahlar özelinde, bu tür hedefli yasaların zamanının yakında gelebileceğini düşünüyorum; Anthropic ve diğer şirketler, biyolojik risklerin doğası ve şirketlerden bunlara karşı savunmada neyin makul bir şekilde istenebileceği konusunda giderek daha fazla şey öğreniyorlar. Bu risklere karşı tam olarak savunma, jeopolitik rakiplerle bile uluslararası düzeyde çalışmayı gerektirebilir, ancak biyolojik silahların geliştirilmesini yasaklayan anlaşmalarda emsal vardır. Genel olarak, yapay zeka konusunda uluslararası işbirliğinin çoğu türüne şüpheyle yaklaşıyorum, ancak bu, küresel bir kısıtlama sağlama şansının olduğu dar bir alan olabilir. Diktatörlükler bile kitlesel biyoterörist saldırılar istemez.

Son olarak, alabileceğimiz üçüncü karşı önlem, biyolojik saldırılara karşı savunma geliştirmeye çalışmaktır. Bu, erken tespit için izleme ve takip, hava arıtma Ar-Ge’sine yatırım (örneğin uzak UVC dezenfeksiyonu), bir saldırıya yanıt verebilen ve uyum sağlayabilen hızlı aşı geliştirme, daha iyi kişisel koruyucu ekipman (KKD) gibi unsurları içerebilir. ²⁸

ve en olası biyolojik etkenlerden bazıları için tedaviler veya aşılar. Belirli bir virüse veya varyanta yanıt verecek şekilde tasarlanabilen mRNA aşıları, burada nelerin mümkün olduğunun erken bir örneğidir. Anthropic, bu sorun üzerinde biyoteknoloji ve ilaç şirketleriyle çalışmaktan heyecan duyuyor. Ancak ne yazık ki, savunma tarafındaki beklentilerimizin sınırlı olması gerektiğini düşünüyorum. Biyolojide saldırı ve savunma arasında bir asimetri vardır, çünkü etkenler kendi başlarına hızla yayılırken, savunmalar çok sayıda insan arasında çok hızlı bir şekilde tespit, aşılama ve tedavinin organize edilmesini gerektirir. Yanıt yıldırım hızıyla gerçekleşmedikçe (ki nadiren gerçekleşir), yanıt mümkün olmadan önce hasarın büyük bir kısmı meydana gelecektir. Gelecekteki teknolojik gelişmelerin bu dengeyi savunma lehine değiştirebileceği düşünülebilir (ve bu tür teknolojik ilerlemelerin geliştirilmesine yardımcı olmak için kesinlikle yapay zekayı kullanmalıyız), ancak o zamana kadar önleyici tedbirler ana savunma hattımız olacaktır.

Burada siber saldırılardan kısaca bahsetmekte fayda var, çünkü biyolojik saldırıların aksine, yapay zekâ destekli siber saldırılar , büyük ölçekli ve devlet destekli casusluk da dahil olmak üzere, gerçek hayatta gerçekleşti. Modeller hızla geliştikçe bu saldırıların daha da etkili hale gelmesini ve sonunda siber saldırıların gerçekleştirilme biçiminin ana yolu olmasını bekliyoruz. Yapay zekâ destekli siber saldırıların, dünya çapındaki bilgisayar sistemlerinin bütünlüğüne yönelik ciddi ve benzeri görülmemiş bir tehdit oluşturacağını düşünüyorum ve Anthropic, bu saldırıları durdurmak ve nihayetinde güvenilir bir şekilde gerçekleşmelerini önlemek için çok çalışıyor. Siber saldırılara biyoloji kadar odaklanmamamın nedeni (1) siber saldırıların insanları öldürme olasılığının çok daha düşük olması, özellikle biyolojik saldırılar ölçeğinde olmaması ve (2) savunma-saldırı dengesinin siber alanda daha yönetilebilir olmasıdır; burada, doğru şekilde yatırım yaparsak savunmanın yapay zekâ saldırılarına ayak uydurabileceği (ve hatta ideal olarak onları geride bırakabileceği) konusunda en azından bir umut vardır.

Şu anda biyoloji en ciddi saldırı vektörü olsa da, birçok başka vektör de mevcut ve daha tehlikeli bir vektörün ortaya çıkması mümkün. Genel prensip, karşı önlemler alınmadığı takdirde yapay zekanın yıkıcı faaliyetlere karşı bariyeri sürekli olarak daha büyük ölçekte düşürmesinin muhtemel olduğu ve insanlığın bu tehdide karşı ciddi bir yanıt vermesi gerektiğidir.

3. Nefret uyandıran düzenek

İktidarı ele geçirmek için kötüye kullanım

Önceki bölümde, bireylerin ve küçük kuruluşların, büyük ölçekli yıkıma neden olmak için “veri merkezindeki dahiler ülkesinin” küçük bir alt kümesini ele geçirme riski tartışılmıştı. Ancak, muhtemelen daha büyük ve daha köklü aktörler tarafından yapay zekanın güç elde etmek veya ele geçirmek amacıyla kötüye kullanılması konusunda da endişelenmeliyiz; muhtemelen çok daha fazla. ²⁹

“Sevgi Dolu Zarafet Makineleri” adlı kitabımda, otoriter hükümetlerin güçlü yapay zekayı kullanarak vatandaşlarını, reform edilmesi veya devrilmesi son derece zor olacak şekillerde gözetleyebileceği veya baskı altına alabileceği olasılığını tartıştım. Mevcut otokrasilerin baskıcılık düzeyi, emirlerini yerine getirmek için insanlara ihtiyaç duymalarıyla sınırlıdır ve insanların da insanlık dışı davranma konusunda sınırları vardır. Ancak yapay zeka destekli otokrasilerin böyle bir sınırı olmazdı.

Daha da kötüsü, ülkeler yapay zekâ alanındaki avantajlarını diğer ülkeler üzerinde güç kazanmak için de kullanabilirler . Eğer “dahiler ülkesi”nin tamamı tek bir (insan) ülkenin askeri aygıtı tarafından ele geçirilip kontrol edilirse ve diğer ülkeler eşdeğer yeteneklere sahip olmazsa, kendilerini nasıl savunabileceklerini görmek zor: tıpkı insanlar ve fareler arasındaki bir savaş gibi, her adımda zekâlarıyla alt edileceklerdir. Bu iki endişeyi bir araya getirmek, küresel bir totaliter diktatörlüğün endişe verici olasılığına yol açar. Açıkçası, bu sonucu önlemek en yüksek önceliklerimizden biri olmalıdır.

Yapay zekanın otokrasiyi mümkün kılabileceği, pekiştirebileceği veya genişletebileceği birçok yol var, ancak en çok endişelendiğim birkaçını sıralayacağım. Bu uygulamaların bazılarının meşru savunma amaçlı kullanımları olduğunu ve bunlara mutlak anlamda karşı çıkmadığımı belirtmek isterim; yine de yapısal olarak otokrasileri destekleme eğiliminde olduklarından endişeleniyorum:

• Tamamen otonom silahlar. Güçlü yapay zekâ tarafından yerel olarak kontrol edilen ve daha da güçlü bir yapay zekâ tarafından dünya çapında stratejik olarak koordine edilen milyonlarca veya milyarlarca tam otomatik silahlı insansız hava aracından oluşan bir sürü, hem dünyadaki herhangi bir orduyu alt edebilecek hem de her vatandaşı takip ederek bir ülke içindeki muhalefeti bastırabilecek yenilmez bir ordu olabilir. Rusya-Ukrayna Savaşı’ndaki gelişmeler, insansız hava aracı savaşının zaten aramızda olduğunu (henüz tamamen otonom olmasa da ve güçlü yapay zekâ ile mümkün olabileceklerin çok küçük bir kısmı olsa da) bize hatırlatmalıdır. Güçlü yapay zekâdan elde edilen Ar-Ge, bir ülkenin insansız hava araçlarını diğerlerininkinden çok daha üstün hale getirebilir, üretimlerini hızlandırabilir, elektronik saldırılara karşı daha dirençli hale getirebilir, manevra kabiliyetlerini geliştirebilir vb. Elbette, bu silahların demokrasinin savunmasında da meşru kullanımları vardır: Ukrayna’nın savunmasında kilit rol oynadılar ve muhtemelen Tayvan’ın savunmasında da kilit rol oynayacaklardır. Ancak bunlar tehlikeli bir silahtır: Otokrasilerin elinde olmalarından endişe etmeliyiz, ancak aynı zamanda çok güçlü olmaları ve hesap verebilirliklerinin çok az olması nedeniyle, demokratik hükümetlerin iktidarı ele geçirmek için bunları kendi halkına karşı kullanma riskinin büyük ölçüde arttığından da endişe etmeliyiz.
• Yapay zekâ gözetimi. Yeterince güçlü bir yapay zekâ, dünyadaki herhangi bir bilgisayar sistemini tehlikeye atmak için kullanılabilir. ³⁰

  Bu şekilde elde edilen erişim, dünyanın tüm elektronik iletişimlerini (hatta kayıt cihazları üretilebilir veya ele geçirilebilirse, dünyanın tüm yüz yüze iletişimlerini bile) okumak ve anlamlandırmak için de kullanılabilir. Hükümetle herhangi bir konuda aynı fikirde olmayan herkesin, bu fikir ayrılığını söylediklerinde veya yaptıklarında açıkça belirtmeseler bile, eksiksiz bir listesini oluşturmak korkutucu derecede olası olabilir. Milyonlarca insanın milyarlarca konuşmasını inceleyen güçlü bir yapay zeka, kamuoyunun duyarlılığını ölçebilir, sadakatsizlik odaklarının oluştuğunu tespit edebilir ve büyümeden önce onları ortadan kaldırabilir. Bu, bugün Çin Komünist Partisi’nde bile görmediğimiz ölçekte gerçek bir panoptikonun dayatılmasına yol açabilir.

• Yapay zekâ propagandası. Günümüzdeki “yapay zekâ psikozu” ve “yapay zekâ kız arkadaşları” fenomenleri, mevcut zekâ seviyelerinde bile yapay zekâ modellerinin insanlar üzerinde güçlü bir psikolojik etkiye sahip olabileceğini gösteriyor. Bu modellerin çok daha güçlü versiyonları, insanların günlük yaşamlarına çok daha fazla entegre olmuş ve farkında olan, aylarca veya yıllarca onları modelleyip etkileyebilen versiyonları, birçok (çoğu?) insanı istenen herhangi bir ideolojiye veya tutuma göre beyin yıkama yeteneğine sahip olabilir ve vicdansız bir lider tarafından sadakati sağlamak ve muhalefeti bastırmak için, çoğu nüfusun isyan edeceği bir baskı düzeyine rağmen kullanılabilir. Bugün insanlar, örneğin, TikTok’un çocuklara yönelik ÇKP propagandası olarak potansiyel etkisi konusunda çok endişeleniyor. Ben de bundan endişeleniyorum, ancak yıllar içinde sizi tanıyan ve hakkınızdaki bilgisini tüm görüşlerinizi şekillendirmek için kullanan kişiselleştirilmiş bir yapay zekâ ajanı, bundan çok daha güçlü olacaktır.
• Stratejik karar alma. Bir veri merkezindeki dâhilerden oluşan bir ülke, bir ülkeye, gruba veya bireye jeopolitik strateji konusunda danışmanlık yapabilir; buna “sanal Bismarck” diyebiliriz. Yukarıda bahsedilen üç iktidar ele geçirme stratejisini optimize edebilir ve muhtemelen aklıma gelmeyen (ama dâhilerden oluşan bir ülkenin geliştirebileceği) birçok başka strateji de geliştirebilir. Diplomasi, askeri strateji, Ar-Ge, ekonomik strateji ve diğer birçok alanın etkinliği, güçlü yapay zekâ tarafından önemli ölçüde artırılabilir. Bu becerilerin çoğu demokrasiler için gerçekten faydalı olacaktır (demokrasilerin otokrasilere karşı kendilerini savunmak için en iyi stratejilere erişebilmesini istiyoruz) ancak herhangi birinin elinde kötüye kullanılma potansiyeli hala mevcuttur.

Endişelendiğim konuları açıkladıktan sonra , kimlerden endişelendiğime geçelim. Yapay zekaya en fazla erişime sahip olan, en fazla siyasi güce sahip konumdan başlayan veya geçmişte baskı uygulamış olan kuruluşlardan endişe duyuyorum. Ciddiyet sırasına göre endişelendiğim kuruluşlar şunlardır:

• Çin Komünist Partisi (ÇKP). Çin, yapay zeka yeteneklerinde Amerika Birleşik Devletleri’nden sonra ikinci sırada yer alıyor ve bu yeteneklerde Amerika Birleşik Devletleri’ni geçme olasılığı en yüksek ülke. Hükümetleri şu anda otokratik ve yüksek teknolojili bir gözetim devleti işletiyor. Zaten yapay zeka tabanlı gözetimi (Uygurların baskılanması da dahil olmak üzere) uygulamaya koydular ve TikTok aracılığıyla (diğer birçok uluslararası propaganda çabasına ek olarak) algoritmik propaganda yürüttüklerine inanılıyor. Yukarıda belirttiğim yapay zeka destekli totaliter kabusa giden en açık yola sahipler. Bu, Çin’de olduğu kadar ÇKP’nin gözetim teknolojisi ihraç ettiği diğer otokratik devletlerde de varsayılan sonuç olabilir. ÇKP’nin yapay zekada liderliği ele geçirme tehdidi ve bunu engellemenin varoluşsal zorunluluğu hakkında sık sık yazdım. İşte bu yüzden. Açık olmak gerekirse, Çin’i özellikle onlara karşı bir düşmanlıktan dolayı hedef almıyorum; sadece yapay zeka yeteneğini, otokratik bir hükümeti ve yüksek teknolojili bir gözetim devletini en çok birleştiren ülke onlar. Aslında, Çin Komünist Partisi’nin yapay zekâ destekli baskısından en çok zarar görecek olanlar Çin halkının kendisidir ve hükümetlerinin eylemlerinde hiçbir söz hakları yoktur. Çin halkına büyük hayranlık ve saygı duyuyorum ve Çin içindeki birçok cesur muhalifi ve özgürlük mücadelelerini destekliyorum.
• Demokrasiler yapay zekada rekabetçi. Yukarıda da belirttiğim gibi, demokrasilerin bazı yapay zeka destekli askeri ve jeopolitik araçlara meşru bir ilgisi var, çünkü demokratik hükümetler bu araçların otokrasiler tarafından kullanımına karşı koymak için en iyi şansı sunuyor. Genel olarak, demokrasileri yapay zeka çağında otokrasileri yenmek için gereken araçlarla donatmayı destekliyorum; başka bir yol olduğunu düşünmüyorum. Ancak bu teknolojilerin demokratik hükümetler tarafından kötüye kullanılma potansiyelini göz ardı edemeyiz. Demokrasiler normalde askeri ve istihbarat aygıtlarının kendi halklarına karşı içe dönük olarak kullanılmasını engelleyen güvencelere sahiptir ³¹Ancak yapay zeka araçlarının çalıştırılması için çok az insan gerektiğinden, bu güvenlik önlemlerini ve onları destekleyen normları aşma potansiyeli bulunmaktadır. Ayrıca, bu güvenlik önlemlerinin bazı demokrasilerde zaten yavaş yavaş aşındığını da belirtmekte fayda var. Bu nedenle, demokrasileri yapay zeka ile donatmalıyız, ancak bunu dikkatli ve sınırlı bir şekilde yapmalıyız: Otokrasilerle mücadele etmek için ihtiyaç duyduğumuz bağışıklık sistemidirler, ancak bağışıklık sistemi gibi, bize karşı dönme ve kendileri bir tehdit haline gelme riski de vardır.Büyük veri merkezlerine sahip demokratik olmayan ülkeler. Çin dışında, daha az demokratik yönetime sahip çoğu ülke, öncü yapay zeka modelleri üreten şirketlere sahip olmadıkları anlamında, yapay zeka alanında önde gelen oyuncular değiller. Bu nedenle, temel olarak Çin Komünist Partisi’nden (ÇKP) daha farklı ve daha az risk oluşturuyorlar (çoğu daha az baskıcıdır ve Kuzey Kore gibi daha baskıcı olanların ise önemli bir yapay zeka endüstrisi yoktur). Ancak bu ülkelerin bazılarında (genellikle demokrasilerde faaliyet gösteren şirketlerin kurulumlarının bir parçası olarak) büyük ölçekli öncü yapay zeka çalıştırmak için kullanılabilecek büyük veri merkezleri bulunmaktadır (ancak bu, sınırları zorlama yeteneği kazandırmaz). Bununla ilgili bir miktar tehlike vardır; bu hükümetler prensipte veri merkezlerine el koyabilir ve içindeki yapay zeka ülkesini kendi amaçları için kullanabilirler. Doğrudan yapay zeka geliştiren Çin gibi ülkelere kıyasla bu konuda daha az endişeliyim, ancak akılda tutulması gereken bir risk. ³²
• Yapay zekâ şirketleri. Bir yapay zekâ şirketinin CEO’su olarak bunu söylemek biraz garip gelebilir, ancak bence bir sonraki risk seviyesi aslında yapay zekâ şirketlerinin kendileridir. Yapay zekâ şirketleri büyük veri merkezlerini kontrol eder, öncü modeller eğitir, bu modelleri nasıl kullanacakları konusunda en büyük uzmanlığa sahiptir ve bazı durumlarda on milyonlarca veya yüz milyonlarca kullanıcıyla günlük temas halindedir ve onları etkileme olasılığına sahiptir. Eksik olan en önemli şey, bir devletin meşruiyeti ve altyapısıdır; bu nedenle, bir yapay zekâ otokrasisinin araçlarını oluşturmak için gerekenlerin çoğu, bir yapay zekâ şirketi için yasa dışı veya en azından son derece şüpheli olacaktır. Ancak bazıları imkansız değildir: Örneğin, yapay zekâ ürünlerini kullanarak devasa tüketici kullanıcı tabanlarını beyin yıkamaya tabi tutabilirler ve kamuoyu bunun temsil ettiği riske karşı uyanık olmalıdır. Bence yapay zekâ şirketlerinin yönetimi çok fazla incelemeyi hak ediyor.

Bu tehditlerin ciddiyetine karşı birçok olası argüman var ve keşke bunlara inanabilseydim, çünkü yapay zekâ destekli otoriterlik beni dehşete düşürüyor. Bu argümanlardan bazılarını inceleyip bunlara yanıt vermek faydalı olacaktır.

İlk olarak, bazı insanlar özellikle askeri fetih için yapay zekâ destekli otonom silahların kullanımına karşı koymak için nükleer caydırıcılığa güvenebilirler. Eğer biri size karşı bu silahları kullanmakla tehdit ederse, her zaman nükleer bir karşılık vermekle tehdit edebilirsiniz. Benim endişem, bir veri merkezindeki dâhilerden oluşan bir ülkeye karşı nükleer caydırıcılığa tamamen güvenebileceğimizden emin olamamamdır: Güçlü yapay zekânın nükleer denizaltıları tespit edip vurmanın yollarını geliştirmesi, nükleer silah altyapısının operatörlerine karşı etki operasyonları yürütmesi veya yapay zekânın siber yeteneklerini kullanarak nükleer fırlatmaları tespit etmek için kullanılan uydulara karşı siber saldırı başlatması mümkündür. ³³

Alternatif olarak, ülkelerin ele geçirilmesinin yalnızca yapay zeka gözetimi ve yapay zeka propagandasıyla mümkün olması ve aslında ne olup bittiğinin ve nükleer bir yanıtın uygun olacağı anın hiçbir zaman açıkça ortaya çıkmaması da mümkündür. Belki de bunlar mümkün değildir ve nükleer caydırıcılık yine de etkili olacaktır, ancak risk almak için çok yüksek riskli görünüyor. ³⁴

İkinci olası itiraz, otokrasinin bu araçlarına karşı alabileceğimiz karşı önlemlerin olabileceği yönündedir. İnsansız hava araçlarına kendi insansız hava araçlarımızla karşılık verebiliriz, siber savunma siber saldırılarla birlikte gelişecektir, insanları propagandaya karşı bağışıklık kazandırmanın yolları olabilir, vb. Benim cevabım, bu savunmaların ancak karşılaştırılabilir derecede güçlü yapay zekâ ile mümkün olacağıdır. Eğer karşılaştırılabilir derecede zeki ve çok sayıda dahiye sahip bir veri merkezine sahip bir karşı güç yoksa, insansız hava araçlarının kalitesine veya sayısına ulaşmak, siber savunmanın siber saldırıyı alt etmesi vb. mümkün olmayacaktır. Dolayısıyla karşı önlemler sorusu, güçlü yapay zekâda güç dengesi sorusuna indirgenir. Burada, güçlü yapay zekânın (bu yazının başında tartıştığım) tekrarlayan veya kendi kendini güçlendiren özelliğinden endişe duyuyorum: Her yapay zekâ nesli, bir sonraki yapay zekâ neslini tasarlamak ve eğitmek için kullanılabilir. Bu, güçlü yapay zekâda mevcut liderin liderliğini artırabileceği ve yakalanmasının zor olabileceği bir üstünlük riskine yol açar. Bu döngüye ilk giren ülkenin otoriter bir ülke olmadığından emin olmalıyız.

Dahası, güç dengesi sağlanabilse bile, tıpkı 1984’te olduğu gibi dünyanın otokratik bölgelere bölünmesi riski hala mevcuttur. Birkaç rakip gücün her birinin güçlü yapay zekâ modelleri olsa ve hiçbiri diğerlerini alt edemese bile, her güç kendi nüfusunu içten içe baskı altına alabilir ve devrilmesi çok zor olur (çünkü nüfusun kendini savunacak güçlü yapay zekâsı yoktur). Bu nedenle, tek bir ülkenin dünyayı ele geçirmesine yol açmasa bile, yapay zekâ destekli otokrasiyi önlemek önemlidir.

Savunmalar

Bu geniş yelpazedeki otokratik araçlara ve potansiyel tehdit aktörlerine karşı nasıl savunma yapabiliriz? Önceki bölümlerde olduğu gibi, yapabileceğimiz birkaç şey olduğunu düşünüyorum. Birincisi, kesinlikle Çin Komünist Partisi’ne çip, çip üretim araçları veya veri merkezleri satmamalıyız. Çip ve çip üretim araçları, güçlü yapay zekânın önündeki en büyük darboğazdır ve bunları engellemek basit ama son derece etkili bir önlemdir, belki de alabileceğimiz en önemli tek eylemdir. Çin Komünist Partisi’ne yapay zekâya dayalı totaliter bir devlet kurmak ve muhtemelen bizi askeri olarak fethetmek için kullanacağı araçları satmanın hiçbir anlamı yok. Bu tür satışları haklı çıkarmak için, “teknoloji yığınımızı dünyaya yaymanın” “Amerika’nın genel, belirsiz bir ekonomik savaşta kazanmasını” sağladığı fikri gibi bir dizi karmaşık argüman öne sürülüyor. Bana göre bu, Kuzey Kore’ye nükleer silah satıp sonra da füze gövdelerinin Boeing tarafından üretildiğini ve bu nedenle ABD’nin “kazandığını” övünmeye benziyor. Çin, ileri teknoloji çiplerini seri üretimde üretme yeteneği açısından ABD’nin birkaç yıl gerisindedir ve veri merkezlerinde dâhiler ülkesini inşa etme açısından kritik dönem büyük olasılıkla önümüzdeki birkaç yıl içinde olacaktır. ³⁵

Bu kritik dönemde yapay zeka sektörlerine devasa bir destek vermenin hiçbir nedeni yok.

İkinci olarak, yapay zekayı kullanarak demokrasilerin otokrasilere karşı direnmesini sağlamak mantıklıdır. Anthropic’in ABD ve demokratik müttefiklerindeki istihbarat ve savunma topluluklarına yapay zeka sağlamayı önemli görmesinin nedeni budur. Ukrayna ve (siber saldırılar yoluyla) Tayvan gibi saldırı altında olan demokrasileri savunmak, özellikle öncelikli görünmektedir; aynı şekilde demokrasilerin istihbarat servislerini kullanarak otokrasileri içeriden bozmak ve zayıflatmak da önemlidir. Bir bakıma, otokratik tehditlere yanıt vermenin tek yolu, askeri olarak onlarla boy ölçüşmek ve onları geride bırakmaktır. ABD ve demokratik müttefiklerinden oluşan bir koalisyon, güçlü yapay zekada üstünlük sağlarsa, yalnızca otokrasilere karşı kendini savunmakla kalmayacak, aynı zamanda onları kontrol altına alıp yapay zekanın totaliter kötüye kullanımını sınırlayabilecek bir konumda olacaktır.

Üçüncüsü, demokrasilerde yapay zekânın kötüye kullanılmasına karşı sert bir çizgi çekmeliyiz. Hükümetlerimizin yapay zekâ ile neler yapabileceğine sınırlar getirmeliyiz ki, iktidarı ele geçirmesinler veya kendi halklarını baskı altına almasınlar. Benim ortaya koyduğum formülasyon şu: Yapay zekâyı, otokratik rakiplerimize daha çok benzememize yol açacak olanlar dışında, her türlü ulusal savunma için kullanmalıyız.

Sınır nerede çizilmeli? Bu bölümün başındaki listede, yapay zekanın yurt içi kitlesel gözetim ve kitlesel propaganda için kullanılması gibi iki madde bana göre parlak kırmızı çizgiler ve tamamen gayrimeşru görünüyor. Bazıları, yurt içi kitlesel gözetimin Dördüncü Değişiklik uyarınca zaten yasa dışı olduğu için (en azından ABD’de) hiçbir şey yapmaya gerek olmadığını savunabilir. Ancak yapay zekanın hızlı ilerlemesi, mevcut yasal çerçevelerimizin başa çıkmak için iyi tasarlanmadığı durumlar yaratabilir. Örneğin, ABD hükümetinin tüm kamusal konuşmaların (örneğin, insanların sokak köşesinde birbirlerine söyledikleri şeyler) büyük ölçekli kayıtlarını yapması muhtemelen anayasaya aykırı olmazdı ve daha önce bu bilgi hacmini ayıklamak zor olurdu, ancak yapay zeka ile bunların tümü yazıya dökülebilir, yorumlanabilir ve birçok veya çoğu vatandaşın tutum ve sadakatini gösteren bir tablo oluşturmak için üçgenleme yöntemiyle analiz edilebilir. Yapay zeka destekli suistimallere karşı daha güçlü koruma önlemleri getiren sivil özgürlüklere odaklı bir yasayı (hatta belki de anayasa değişikliğini) desteklerdim.

Diğer iki madde (tamamen otonom silahlar ve stratejik karar alma için yapay zeka) demokrasiyi savunmada meşru kullanımları varken aynı zamanda kötüye kullanıma da açık oldukları için daha karmaşık sınırlar çizilmesi gereken konulardır. Burada bence gereken şey, kötüye kullanımları önlemek için koruyucu önlemlerle birlikte son derece dikkatli ve titiz bir incelemedir. En büyük korkum, “düğmeye basan parmak” sayısının çok az olması, yani bir veya birkaç kişinin, emirlerini yerine getirmek için başka hiçbir insanın işbirliğine ihtiyaç duymadan esasen bir insansız hava aracı ordusunu yönetebilmesidir. Yapay zeka sistemleri daha güçlü hale geldikçe, kötüye kullanılmamalarını sağlamak için daha doğrudan ve acil denetim mekanizmalarına ihtiyaç duyabiliriz; belki de yürütme organı dışındaki hükümet kollarını da dahil edebiliriz. Özellikle tamamen otonom silahlara büyük bir dikkatle yaklaşmamız gerektiğini düşünüyorum. ³⁶

ve gerekli güvenlik önlemleri alınmadan bunların kullanımına acele edilmemelidir.

Dördüncüsü, demokrasilerde yapay zekânın kötüye kullanılmasına karşı sert bir çizgi çizdikten sonra, bu emsali kullanarak güçlü yapay zekânın en kötü kötüye kullanımlarına karşı uluslararası bir tabu oluşturmalıyız. Mevcut siyasi rüzgarların uluslararası iş birliğine ve uluslararası normlara karşı döndüğünü kabul ediyorum, ancak bu, bunlara son derece ihtiyaç duyduğumuz bir durum. Dünya, otokratların elindeki güçlü yapay zekânın karanlık potansiyelini anlamalı ve yapay zekânın belirli kullanımlarının, özgürlüklerini kalıcı olarak çalma ve kaçamayacakları totaliter bir devlet kurma girişimi anlamına geldiğini kabul etmelidir. Hatta bazı durumlarda, güçlü yapay zekâ ile büyük ölçekli gözetim, güçlü yapay zekâ ile kitlesel propaganda ve tamamen otonom silahların belirli türdeki saldırgan kullanımlarının insanlığa karşı suç olarak değerlendirilmesi gerektiğini savunuyorum. Daha genel olarak, yapay zekâ destekli totalitarizme ve tüm araç ve gereçlerine karşı sağlam bir norma son derece ihtiyaç duyulmaktadır.

Bu görüşün daha da güçlü bir versiyonu da mümkündür; buna göre, yapay zekâ destekli totalitarizmin olasılıkları o kadar karanlıktır ki, otokrasi, güçlü yapay zekâ sonrası çağda insanların kabul edebileceği bir yönetim biçimi değildir. Tıpkı feodalizmin sanayi devrimiyle işlevsiz hale gelmesi gibi, yapay zekâ çağı da kaçınılmaz ve mantıklı bir şekilde, insanlığın iyi bir geleceğe sahip olması için demokrasinin (ve umarım, Sevgi Dolu Zarafet Makineleri adlı kitabımda tartıştığım gibi, yapay zekâ tarafından geliştirilmiş ve canlandırılmış demokrasinin) tek geçerli yönetim biçimi olduğu sonucuna götürebilir.

Beşinci ve son olarak, yapay zeka şirketleri dikkatle izlenmeli, aynı şekilde hükümetle olan bağlantıları da izlenmelidir; bu bağlantı gerekli olmakla birlikte, sınırları ve kısıtlamaları olmalıdır. Güçlü yapay zekanın sahip olduğu muazzam yetenek miktarı, hissedarları korumak ve dolandırıcılık gibi sıradan suistimalleri önlemek için tasarlanmış olan sıradan kurumsal yönetimin, yapay zeka şirketlerini yönetme görevini yerine getiremeyeceği anlamına gelir. Şirketlerin (belki de kurumsal yönetimin bir parçası olarak) belirli eylemlerden kaçınmaya kamuoyu önünde taahhüt etmelerinin de değeri olabilir; örneğin, özel olarak askeri teçhizat üretmemek veya stoklamamak, tek tek bireyler tarafından hesap verilemeyen şekillerde büyük miktarda bilgi işlem kaynağı kullanmamak veya yapay zeka ürünlerini kamuoyunu kendi lehlerine manipüle etmek için propaganda aracı olarak kullanmamak gibi.

Buradaki tehlike birçok yönden geliyor ve bazı yönler diğerleriyle gerilim halinde. Tek değişmeyen şey, “iyi” aktörleri “kötü” aktörleri kontrol altında tutmak için güçlendirirken bile, herkes için hesap verebilirlik, normlar ve güvenlik önlemleri aramamız gerektiğidir.

4. Otomatik piyano

Ekonomik aksama

Önceki üç bölüm esasen güçlü yapay zekânın yarattığı güvenlik riskleriyle ilgiliydi: yapay zekânın kendisinden kaynaklanan riskler, bireyler ve küçük kuruluşlar tarafından kötüye kullanım riskleri ve devletler ve büyük kuruluşlar tarafından kötüye kullanım riskleri. Güvenlik risklerini bir kenara bırakırsak veya bunların çözüldüğünü varsayarsak, bir sonraki soru ekonomiktir. Bu inanılmaz “insan” sermayesinin ekonomiye etkisi ne olacak? Açıkçası, en belirgin etki ekonomik büyümeyi büyük ölçüde artırmak olacaktır. Bilimsel araştırmalardaki, biyomedikal yeniliklerdeki, üretimdeki, tedarik zincirlerindeki, finansal sistemin verimliliğindeki ve daha birçok alandaki ilerlemelerin hızı, ekonomik büyüme oranının çok daha hızlı olmasına neredeyse kesin olarak yol açacaktır. “Sevgi Dolu Zarafet Makineleri” adlı kitabımda, yıllık %10-20’lik sürdürülebilir bir GSYİH büyüme oranının mümkün olabileceğini öne sürüyorum.

Ancak bunun iki ucu keskin bir kılıç olduğu açık olmalı: Böyle bir dünyada mevcut insanların çoğunun ekonomik beklentileri nelerdir? Yeni teknolojiler genellikle işgücü piyasasında şoklara yol açar ve geçmişte insanlar her zaman bunlardan kurtulmuştur, ancak endişem şu ki, bu önceki şoklar insan yeteneklerinin tam aralığının yalnızca küçük bir bölümünü etkilemiş ve insanların yeni görevlere genişlemesi için alan bırakmıştır. Yapay zekanın etkileri çok daha geniş kapsamlı ve çok daha hızlı gerçekleşecektir ve bu nedenle işlerin yolunda gitmesini sağlamanın çok daha zor olacağından endişeleniyorum.

İşgücü piyasası bozulması

Endişelendiğim iki özel sorun var: İşgücü piyasası yer değiştirmesi ve ekonomik gücün yoğunlaşması. İlkiyle başlayalım. Bu, 2025 yılında çok açık bir şekilde uyardığım bir konu; yapay zekanın ekonomik büyümeyi ve bilimsel ilerlemeyi hızlandırırken bile, önümüzdeki 1-5 yıl içinde giriş seviyesi beyaz yakalı işlerin yarısını ortadan kaldırabileceğini öngörmüştüm. Bu uyarı, konu hakkında kamuoyunda bir tartışma başlattı. Birçok CEO, teknoloji uzmanı ve ekonomist benimle aynı fikirdeydi, ancak bazıları “işgücü yığını” yanılgısına düştüğümü ve işgücü piyasalarının nasıl işlediğini bilmediğimi varsaydı; bazıları ise 1-5 yıllık zaman aralığını görmedi ve yapay zekanın şu anda işleri ortadan kaldırdığını iddia ettiğimi düşündü (ki bunun muhtemelen doğru olmadığını kabul ediyorum). Bu nedenle, işgücü yer değiştirmesi konusunda neden endişelendiğimi ayrıntılı olarak ele almak ve bu yanlış anlamaları gidermek faydalı olacaktır.

Öncelikle, işgücü piyasalarının teknolojik gelişmelere nasıl tepki verdiğini anlamak faydalıdır. Yeni bir teknoloji ortaya çıktığında, öncelikle belirli bir insan işinin bazı kısımlarını daha verimli hale getirerek işe başlar. Örneğin, Sanayi Devrimi’nin başlarında, geliştirilmiş pulluklar gibi makineler, insan çiftçilerin işin bazı yönlerinde daha verimli olmalarını sağladı. Bu, çiftçilerin verimliliğini artırdı ve dolayısıyla ücretlerini yükseltti.

Bir sonraki aşamada, örneğin harman makinesi veya tohum ekme makinesinin icadıyla, tarım işinin bazı kısımları tamamen makineler tarafından yapılabilir hale geldi. Bu aşamada, insanlar işin giderek daha az bir bölümünü yaparken, yaptıkları iş makinelerin işini tamamlayıcı nitelikte olduğu için giderek daha fazla kaldıraç etkisi yarattı ve verimlilikleri artmaya devam etti. Jevons paradoksunda açıklandığı gibi, çiftçilerin ücretleri ve hatta belki de çiftçi sayısı artmaya devam etti. İşin %90’ı makineler tarafından yapılıyor olsa bile, insanlar hala yaptıkları %10’luk işin 10 katını yaparak, aynı miktarda emekle 10 kat daha fazla çıktı üretebilirler.

Sonunda, modern biçerdöverler, traktörler ve diğer ekipmanlarda olduğu gibi, makineler her şeyi veya neredeyse her şeyi yapar. Bu noktada, insan istihdamı biçimi olarak tarım gerçekten de büyük bir düşüşe geçer ve bu kısa vadede ciddi aksamalara neden olabilir, ancak tarım insanların yapabileceği birçok faydalı faaliyetten sadece biri olduğu için, insanlar sonunda fabrika makinelerini çalıştırmak gibi diğer işlere geçerler. Bu, tarımın önceden istihdamın büyük bir bölümünü oluşturmasına rağmen geçerlidir . 250 yıl önce, Amerikalıların %90’ı çiftliklerde yaşıyordu; Avrupa’da istihdamın %50-60’ı tarımsaldı. Şimdi bu yüzdeler o yerlerde düşük tek haneli rakamlara düştü, çünkü işçiler endüstriyel işlere (ve daha sonra bilgiye dayalı işlere) geçtiler. Ekonomi, daha önce işgücünün büyük bir kısmının gerektirdiği işleri sadece %1-2’siyle yapabiliyor ve işgücünün geri kalanını giderek daha gelişmiş bir endüstriyel toplum inşa etmek için serbest bırakıyor. Sabit bir “işgücü yığını” yok, sadece giderek daha azıyla daha fazlasını yapabilme yeteneği var. İnsanların ücretleri GSYİH’deki artışla birlikte katlanarak yükselir ve kısa vadeli aksaklıklar geçtikten sonra ekonomi tam istihdamı korur.

Yapay zekâda da işlerin aşağı yukarı aynı şekilde ilerlemesi mümkün, ancak ben buna kesinlikle karşıyım. Yapay zekânın farklı olmasının muhtemel nedenleri şunlar:

• Hız. Yapay zekâdaki ilerleme hızı, önceki teknolojik devrimlere göre çok daha hızlı. Örneğin, son 2 yılda yapay zekâ modelleri, tek bir kod satırını bile zar zor tamamlayabilmekten, Anthropic’teki mühendisler de dahil olmak üzere bazı kişiler için tüm veya neredeyse tüm kodu yazabilecek seviyeye geldi. ³⁷
  Yakında, bir yazılım mühendisinin tüm görevlerini baştan sona yapabilirler. ³⁸ İnsanların bu değişim hızına, hem belirli bir işin işleyiş biçimindeki değişikliklere hem de yeni işlere geçme ihtiyacına uyum sağlaması zor. Efsanevi programcılar bile kendilerini giderek “geride kalmış” olarak tanımlıyorlar. Yapay zeka kodlama modelleri yapay zeka geliştirme görevini giderek hızlandırdıkça, bu hız daha da artabilir. Açık olmak gerekirse, hızın kendisi işgücü piyasalarının ve istihdamın sonunda toparlanmayacağı anlamına gelmez; sadece kısa vadeli geçişin, geçmiş teknolojilere kıyasla alışılmadık derecede sancılı olacağı anlamına gelir, çünkü insanlar ve işgücü piyasaları tepki vermekte ve dengeye ulaşmakta yavaştır.
• Bilişsel genişlik. “Veri merkezindeki dahiler ülkesi” ifadesinin de ima ettiği gibi, yapay zeka çok geniş bir yelpazedeki insan bilişsel yeteneklerine (belki de hepsine) sahip olacaktır. Bu, mekanize tarım, ulaşım veya hatta bilgisayarlar gibi önceki teknolojilerden çok farklıdır. ³⁹ Bu durum, insanların yer değiştiren işlerden, kendilerine uygun benzer işlere kolayca geçiş yapmasını zorlaştıracaktır. Örneğin, finans, danışmanlık ve hukuk gibi giriş seviyesi işler için gereken genel entelektüel yetenekler, özel bilgi oldukça farklı olsa bile, oldukça benzerdir. Bu üç alandan sadece birini etkileyen bir teknoloji, çalışanların diğer iki yakın alternatife geçmesine (veya lisans öğrencilerinin bölüm değiştirmesine) olanak tanır. Ancak üçünü birden (ve diğer birçok benzer işi) etkileyen bir teknoloji, insanların uyum sağlamasını zorlaştırabilir. Dahası, mevcut işlerin çoğunun etkileneceği tek bir durum değil. Bu kısım daha önce de yaşandı; tarımın istihdamın büyük bir yüzdesini oluşturduğunu hatırlayın. Ancak çiftçiler, daha önce yaygın olmayan fabrika makinelerini çalıştırma gibi nispeten benzer işlere geçebildiler. Buna karşılık, yapay zeka giderek insanların genel bilişsel profiline daha çok benziyor; bu da yapay zekanın, eski işlerin otomasyonu sonucunda ortaya çıkacak yeni işlerde de başarılı olacağı anlamına geliyor. Başka bir deyişle, yapay zeka belirli insan işlerinin yerini tutmaktan ziyade, insanların genel iş gücü yerine geçebilecek bir araçtır.
• Bilişsel yeteneğe göre dilimleme. Çok çeşitli görevlerde, yapay zeka yetenek merdiveninin altından üstüne doğru ilerliyor gibi görünüyor. Örneğin, kodlamada modellerimiz “orta düzey bir kodlayıcı” seviyesinden “güçlü bir kodlayıcı” seviyesine ve ardından “çok güçlü bir kodlayıcı” seviyesine ilerledi. ⁴⁰ Şimdi genel olarak beyaz yakalı işlerde de aynı ilerlemeyi görmeye başlıyoruz. Bu nedenle, yapay zekanın belirli becerilere veya belirli mesleklere sahip (yeniden eğitimle uyum sağlayabilen) kişileri etkilemesi yerine, belirli içsel bilişsel özelliklere, yani daha düşük entelektüel yeteneğe sahip (değiştirilmesi daha zor olan) kişileri etkilemesi riskiyle karşı karşıyayız. Bu kişilerin nereye gideceği veya ne yapacağı belli değil ve işsiz veya çok düşük ücretli bir “alt sınıf” oluşturabileceklerinden endişeliyim. Açık olmak gerekirse, buna benzer şeyler daha önce de oldu; örneğin, bazı ekonomistler bilgisayarların ve internetin “beceriye dayalı teknolojik değişim“i temsil ettiğine inanıyor. Ancak bu beceriye dayalılık, yapay zekada görmeyi beklediğim kadar aşırı değildi ve ücret eşitsizliğinin artmasına katkıda bulunduğuna inanılıyor. ⁴¹ Dolayısıyla bu, pek de güven verici bir emsal teşkil etmiyor.
• Boşlukları doldurma yeteneği. İnsan işlerinin yeni teknoloji karşısında sıklıkla uyum sağlama biçimi, işin birçok yönü olması ve yeni teknolojinin, insanları doğrudan değiştirecek gibi görünse bile, genellikle boşluklar içermesidir. Birisi bir makine icat ederse, insanlar yine de makineye ham madde yüklemek zorunda kalabilir. Bu, ürünleri elle yapmaktan sadece %1 daha az çaba gerektirse bile, insan işçiler 100 kat daha fazla ürün üretebilir. Ancak yapay zeka, hızla ilerleyen bir teknoloji olmasının yanı sıra, hızla uyum sağlayan bir teknolojidir. Her model sürümünde, yapay zeka şirketleri modelin nelerde iyi ve nelerde kötü olduğunu dikkatlice ölçer ve müşteriler de lansmandan sonra bu tür bilgileri sağlar. Zayıflıklar, mevcut boşluğu somutlaştıran görevleri toplayarak ve bir sonraki model için bunlar üzerinde eğitim vererek giderilebilir. Üretken yapay zekanın başlarında, kullanıcılar yapay zeka sistemlerinin belirli zayıflıkları olduğunu fark ettiler (örneğin, yapay zeka görüntü modellerinin yanlış sayıda parmaklı eller oluşturması gibi) ve birçoğu bu zayıflıkların teknolojiye özgü olduğunu varsaydı. Eğer öyle olsaydı, iş aksamalarını sınırlardı. Ancak bu tür zayıflıkların neredeyse tamamı hızla, genellikle sadece birkaç ay içinde gideriliyor.

Yaygın şüphe noktalarına değinmekte fayda var. İlk olarak, ekonomik yayılımın yavaş olacağı, yani temel teknoloji insan emeğinin çoğunu yapabilecek kapasitede olsa bile, ekonomi genelinde fiili uygulamasının çok daha yavaş olabileceği (örneğin yapay zeka sektöründen uzak ve benimsemekte yavaş olan sektörlerde) argümanı var. Teknolojinin yavaş yayılımı kesinlikle gerçek bir durum; çok çeşitli işletmelerden insanlarla konuşuyorum ve yapay zekanın benimsenmesinin yıllar alacağı yerler var. Bu yüzden, giriş seviyesi beyaz yakalı işlerin %50’sinin 1-5 yıl içinde ortadan kalkacağı tahmini yapıyorum, ancak güçlü bir yapay zekaya (teknolojik olarak, sadece giriş seviyesi işleri değil, çoğu veya tüm işleri yapabilecek kadar güçlü) 5 yıldan çok daha kısa sürede sahip olacağımızı düşünüyorum. Ancak yayılım etkileri bize sadece zaman kazandırıyor. Ve bunların insanların tahmin ettiği kadar yavaş olacağından emin değilim. Kurumsal yapay zeka benimsenmesi, büyük ölçüde teknolojinin kendi gücü sayesinde, önceki herhangi bir teknolojiden çok daha hızlı oranlarda büyüyor. Ayrıca, geleneksel işletmeler yeni teknolojiyi benimsemekte yavaş kalsalar bile, yeni girişimler “bağlayıcı” görevi görerek benimsemeyi kolaylaştıracaktır. Bu işe yaramazsa, yeni girişimler doğrudan mevcut şirketleri alt üst edebilir.

Bu durum, belirli işlerin ortadan kalkmasından ziyade, büyük işletmelerin genel olarak alt üst olmasına ve yerlerine çok daha az emek yoğun girişimlerin gelmesine yol açabilir. Bu aynı zamanda, dünyanın servetinin giderek artan bir kısmının Silikon Vadisi’nde yoğunlaştığı ve bu vadinin dünyanın geri kalanından farklı bir hızda işleyen ve onu geride bırakan kendi ekonomisi haline geldiği bir “coğrafi eşitsizlik” dünyasına da yol açabilir. Tüm bu sonuçlar ekonomik büyüme için harika olurdu, ancak işgücü piyasası veya geride kalanlar için o kadar da iyi olmazdı.

İkinci olarak, bazı insanlar insan işlerinin fiziksel dünyaya taşınacağını söylüyor; bu da yapay zekanın çok hızlı ilerlediği “bilişsel emek” kategorisini tamamen göz ardı ediyor. Bunun ne kadar güvenli olduğundan da emin değilim. Birçok fiziksel emek zaten makineler tarafından yapılıyor (örneğin, üretim) veya yakında makineler tarafından yapılacak (örneğin, araba kullanma). Ayrıca, yeterince güçlü yapay zeka, robotların gelişimini hızlandırabilir ve ardından bu robotları fiziksel dünyada kontrol edebilir. Bu biraz zaman kazandırabilir (ki bu iyi bir şey), ancak çok fazla zaman kazandırmayacağından endişeleniyorum. Ve hatta bu değişim sadece bilişsel görevlerle sınırlı olsa bile, yine de eşi benzeri görülmemiş derecede büyük ve hızlı bir değişim olurdu.

Üçüncüsü, belki de bazı görevler doğası gereği insan dokunuşunu gerektirir veya bundan büyük ölçüde fayda sağlar. Bu konuda biraz daha kararsızım, ancak yukarıda bahsettiğim etkilerin büyük kısmını telafi etmeye yeteceğinden hala şüpheliyim. Yapay zeka zaten müşteri hizmetlerinde yaygın olarak kullanılıyor. Birçok insan, kişisel sorunları hakkında bir terapistle konuşmaktan ziyade yapay zekayla konuşmanın daha kolay olduğunu, yapay zekanın daha sabırlı olduğunu söylüyor. Kız kardeşim hamilelik sırasında tıbbi sorunlarla boğuşurken, sağlık hizmeti sağlayıcılarından ihtiyaç duyduğu cevapları veya desteği alamadığını hissetti ve Claude’un daha iyi bir hasta ilişkisine sahip olduğunu (ve sorunu teşhis etmede daha başarılı olduğunu) fark etti. İnsan dokunuşunun gerçekten önemli olduğu bazı görevler olduğundan eminim, ancak kaç tane olduğundan emin değilim ve burada işgücü piyasasında neredeyse herkes için iş bulmaktan bahsediyoruz.

Dördüncüsü, bazıları karşılaştırmalı üstünlüğün insanları koruyacağını savunabilir. Karşılaştırmalı üstünlük yasasına göre, yapay zekâ her şeyde insanlardan daha iyi olsa bile, insan ve yapay zekânın beceri profilleri arasındaki göreceli farklılıklar, insanlar ve yapay zekâ arasında ticaret ve uzmanlaşma için bir temel oluşturur. Sorun şu ki, yapay zekâlar insanlardan binlerce kat daha üretken olursa, bu mantık çökmeye başlar. Çok küçük işlem maliyetleri bile yapay zekânın insanlarla ticaret yapmasını değersiz hale getirebilir. Ve insan ücretleri, teknik olarak sunabilecekleri bir şey olsa bile, çok düşük olabilir.

Tüm bu faktörlerin ele alınması mümkün; yani işgücü piyasasının böylesine büyük bir aksamaya bile uyum sağlayacak kadar dirençli olması olası. Ancak nihayetinde uyum sağlayabilse bile, yukarıdaki faktörler kısa vadeli şokun büyüklüğünün emsalsiz olacağını gösteriyor.

Savunmalar

Bu sorun hakkında ne yapabiliriz? Birkaç önerim var, bunlardan bazılarını Anthropic zaten yapıyor. İlk olarak, iş kayıplarıyla ilgili gerçek zamanlı olarak doğru veriler elde etmek gerekiyor. Ekonomik bir değişim çok hızlı gerçekleştiğinde, neler olup bittiği hakkında güvenilir veriler elde etmek zor oluyor ve güvenilir veriler olmadan etkili politikalar tasarlamak da zorlaşıyor. Örneğin, hükümet verilerinde şu anda firmalar ve sektörler genelinde yapay zeka kullanımına ilişkin ayrıntılı, yüksek frekanslı veriler eksik. Anthropic, son bir yıldır, modellerimizin kullanımını neredeyse gerçek zamanlı olarak, sektör, görev, konum ve hatta bir görevin otomatikleştirilip otomatikleştirilmediği veya iş birliği içinde yürütülüp yürütülmediği gibi unsurlara göre ayrıntılı olarak gösteren bir Ekonomik Endeks işletiyor ve bunu kamuoyuna açıklıyor. Ayrıca , bu verileri yorumlamamıza ve neler olacağını görmemize yardımcı olmak için bir Ekonomik Danışma Konseyimiz de var.

İkinci olarak, yapay zeka şirketlerinin işletmelerle nasıl çalışacakları konusunda bir seçeneği var. Geleneksel işletmelerin verimsizliği, yapay zeka uygulamalarının oldukça yol bağımlı olabileceği anlamına gelir ve daha iyi bir yol seçmek için bir miktar alan vardır. İşletmeler genellikle “maliyet tasarrufu” (aynı işi daha az insanla yapmak) ve “inovasyon” (aynı sayıda insanla daha fazlasını yapmak) arasında seçim yapmak zorundadır. Piyasa kaçınılmaz olarak sonunda her ikisini de üretecektir ve rekabetçi herhangi bir yapay zeka şirketi her ikisine de hizmet etmek zorunda kalacaktır, ancak şirketleri mümkün olduğunca inovasyona yönlendirmek için bir miktar alan olabilir ve bu bize biraz zaman kazandırabilir. Anthropic bu konu üzerinde aktif olarak düşünüyor.

Üçüncüsü, şirketler çalışanlarına nasıl bakacaklarını düşünmelidir. Kısa vadede, şirket içinde çalışanları yeniden görevlendirmenin yaratıcı yolları, işten çıkarmalara duyulan ihtiyacı önlemenin umut verici bir yolu olabilir. Uzun vadede, muazzam toplam zenginliğe sahip bir dünyada, birçok şirketin artan verimlilik ve sermaye yoğunlaşması nedeniyle değerinin büyük ölçüde arttığı bir ortamda, geleneksel anlamda ekonomik değer sağlamadıkları uzun bir süre sonra bile insan çalışanlara ödeme yapmak mümkün olabilir. Anthropic şu anda kendi çalışanlarımız için çeşitli olası yolları değerlendiriyor ve bunları yakın gelecekte paylaşacağız.

Dördüncüsü, varlıklı bireylerin bu sorunu çözmeye yardımcı olma yükümlülüğü vardır. Özellikle teknoloji sektöründeki birçok varlıklı bireyin son zamanlarda hayırseverliğin kaçınılmaz olarak sahtekarlık veya işe yaramaz olduğu yönünde alaycı ve nihilist bir tutum benimsemesi beni üzüyor. Gates Vakfı gibi özel hayır kurumları ve PEPFAR gibi kamu programları, gelişmekte olan dünyada on milyonlarca hayat kurtardı ve gelişmiş dünyada ekonomik fırsatlar yaratılmasına yardımcı oldu. Anthropic’in tüm kurucu ortakları servetimizin %80’ini bağışlamayı taahhüt etti ve Anthropic çalışanları da mevcut fiyatlarla milyarlarca dolar değerinde şirket hissesi bağışlamayı taahhüt etti; şirket de bu bağışları karşılamayı taahhüt etti.

Beşinci olarak, yukarıda bahsedilen tüm özel eylemler faydalı olsa da, nihayetinde bu kadar büyük bir makroekonomik sorun hükümet müdahalesini gerektirecektir. Çok büyük bir ekonomik pastanın yanı sıra yüksek eşitsizlik (birçoğu için işsizlik veya düşük ücretli işler nedeniyle) karşısında doğal politika yanıtı, artan oranlı vergilendirmedir. Vergi genel olabilir veya özellikle yapay zeka şirketlerini hedef alabilir. Açıkçası vergi tasarımı karmaşıktır ve yanlış gitmesinin birçok yolu vardır. Kötü tasarlanmış vergi politikalarını desteklemiyorum. Bu yazıda öngörülen aşırı eşitsizlik seviyelerinin, temel ahlaki gerekçelerle daha sağlam bir vergi politikasını haklı çıkardığını düşünüyorum, ancak dünyanın milyarderlerine de iyi bir versiyonunu desteklemenin kendi çıkarlarına olduğunu savunan pragmatik bir argüman sunabilirim: eğer iyi bir versiyonu desteklemezlerse, kaçınılmaz olarak bir kalabalık tarafından tasarlanmış kötü bir versiyonu alacaklardır.

Sonuç olarak, yukarıda bahsedilen tüm müdahaleleri zaman kazanma yolları olarak görüyorum. Sonuçta yapay zeka her şeyi yapabilecek ve biz de bununla başa çıkmak zorundayız. Umarım o zamana kadar, yapay zekanın kendisini kullanarak piyasaları herkes için işe yarayacak şekilde yeniden yapılandırabiliriz ve yukarıdaki müdahaleler geçiş dönemini atlatmamıza yardımcı olabilir.

ekonomik güç yoğunlaşması

İş kaybı veya ekonomik eşitsizlik sorunundan ayrı olarak, ekonomik güç yoğunlaşması sorunu da vardır. Bölüm 1’de insanlığın yapay zekâ tarafından güçsüzleştirilmesi riski, Bölüm 3’te ise vatandaşların hükümetleri tarafından zorlama veya baskı yoluyla güçsüzleştirilmesi riski ele alındı. Ancak, servetin o kadar büyük bir yoğunlaşması durumunda, küçük bir grup insanın etkili bir şekilde hükümet politikasını kontrol etmesi ve sıradan vatandaşların ekonomik etki gücünden yoksun olmaları nedeniyle hiçbir etkiye sahip olmamaları durumunda başka bir tür güçsüzleştirme meydana gelebilir. Demokrasi, nihayetinde nüfusun tamamının ekonominin işleyişi için gerekli olduğu fikrine dayanmaktadır. Eğer bu ekonomik etki gücü ortadan kalkarsa, demokrasinin örtük sosyal sözleşmesi işlemeyi bırakabilir. Başkaları bu konuda yazılar yazdı, bu yüzden burada çok detaylı bilgi vermeme gerek yok, ancak bu endişeye katılıyorum ve bunun zaten olmaya başladığından endişeleniyorum.

Açık konuşmak gerekirse, insanların çok para kazanmasına karşı değilim. Normal şartlar altında ekonomik büyümeyi teşvik ettiğine dair güçlü bir argüman var. İnovasyonun önünü keserek onu besleyen altın yumurtlayan tavuğu öldürme endişelerine de sempati duyuyorum. Ancak GSYİH büyümesinin yılda %10-20 olduğu ve yapay zekanın ekonomiyi hızla ele geçirdiği, buna rağmen bireylerin GSYİH’nin önemli bir bölümünü elinde tuttuğu bir senaryoda, endişelenilecek şey inovasyon değil. Endişelenilecek şey, toplumu parçalayacak bir servet yoğunlaşması seviyesidir.

ABD tarihinde servetin aşırı yoğunlaşmasının en ünlü örneği Yaldızlı Çağ’dır ve Yaldızlı Çağ’ın en zengin sanayicisi John D. Rockefeller’dı. Rockefeller’ın serveti o dönemdeki ABD GSYİH’sının yaklaşık %2’sine denk geliyordu. ⁴²

Bugün benzer bir oran 600 milyar dolarlık bir servete yol açardı ve bugün dünyanın en zengin insanı (Elon Musk) zaten yaklaşık 700 milyar dolarla bu rakamı aşıyor. Dolayısıyla, yapay zekanın ekonomik etkisinin büyük bir kısmı henüz gerçekleşmeden bile, tarihsel olarak benzeri görülmemiş bir servet yoğunlaşması seviyesindeyiz. (Eğer bir “dahiler ülkesi” elde edersek) yapay zeka şirketlerinin, yarı iletken şirketlerinin ve belki de alt sektör uygulama şirketlerinin yılda yaklaşık 3 trilyon dolar ⁴³ gelir elde etmesini hayal etmek çok da abartılı olmaz diye düşünüyorum^.

Değeri yaklaşık 30 trilyon dolar olan ve trilyonlarca dolarlık kişisel servetlere yol açan bir dünyada, bugün vergi politikası hakkında yaptığımız tartışmalar geçerli olmayacak çünkü temelde farklı bir durumda olacağız.

Bununla bağlantılı olarak, bu ekonomik servet yoğunlaşmasının siyasi sistemle birleşmesi beni şimdiden endişelendiriyor. Yapay zeka veri merkezleri halihazırda ABD ekonomik büyümesinin önemli bir bölümünü oluşturuyor, ⁴⁴ 

Bu durum, büyük teknoloji şirketlerinin (ki bunlar giderek yapay zekâya veya yapay zekâ altyapısına odaklanıyor) mali çıkarlarını ve hükümetin siyasi çıkarlarını, ters etki yaratabilecek bir şekilde birbirine bağlıyor. Bunu, teknoloji şirketlerinin ABD hükümetini eleştirmekten kaçınmasında ve hükümetin yapay zekâya ilişkin aşırı düzenleme karşıtı politikalara verdiği destekte zaten görüyoruz.

Savunmalar

Bu konuda ne yapılabilir? İlk ve en açık şekilde, şirketler bunun bir parçası olmamayı seçmelidir. Anthropic her zaman politik bir aktör değil, politika belirleyici bir aktör olmaya ve yönetim ne olursa olsun özgün görüşlerimizi korumaya çalışmıştır. Kamu yararına olan, hatta hükümet politikasıyla çelişse bile, mantıklı yapay zeka düzenlemeleri ve ihracat kontrolleri lehine sesimizi yükselttik. ⁴⁵

Birçok kişi bana bunu yapmayı bırakmamız gerektiğini, bunun olumsuz sonuçlara yol açabileceğini söyledi, ancak bunu yapmaya başladığımız bir yıl içinde Anthropic’in değeri 6 kattan fazla arttı; bu, ticari ölçeğimizde neredeyse eşi benzeri görülmemiş bir sıçrama.

İkinci olarak, yapay zeka endüstrisinin hükümetle daha sağlıklı bir ilişkiye ihtiyacı var; bu ilişki, siyasi hizalanmadan ziyade somut politika katılımına dayanmalıdır. Politika yerine somut politika katılımına yönelme tercihimiz bazen ilkeli bir karar yerine taktiksel bir hata veya “durumu doğru okuyamama” olarak yorumlanıyor ve bu yaklaşım beni endişelendiriyor. Sağlıklı bir demokraside, şirketler kendi iyiliği için iyi politikaları savunabilmelidir. Bununla bağlantılı olarak, yapay zekaya karşı kamuoyunda bir tepki oluşuyor: bu bir düzeltme olabilir, ancak şu anda odaklanmamış durumda. Bunun büyük bir kısmı aslında sorun olmayan konuları (veri merkezi su kullanımı gibi) hedef alıyor ve gerçek endişeleri gidermeyecek çözümler (veri merkezi yasakları veya kötü tasarlanmış servet vergileri gibi) öneriyor. Dikkat edilmesi gereken temel konu, yapay zeka gelişiminin herhangi bir siyasi veya ticari ittifak tarafından ele geçirilmeden, kamu yararına hesap verebilir kalmasını sağlamaktır ve kamuoyu tartışmasını buraya odaklamak önemli görünüyor.

Üçüncüsü, bu bölümde daha önce bahsettiğim makroekonomik müdahaleler ve özel hayırseverliğin yeniden canlanması, hem iş kaybı hem de ekonomik güç yoğunlaşması sorunlarını aynı anda ele alarak ekonomik teraziyi dengelemeye yardımcı olabilir. Burada ülkemizin tarihine bakmalıyız: Altın Çağ’da bile, Rockefeller ve Carnegie gibi sanayiciler, toplumun başarısına muazzam katkıda bulunduğunu ve karşılık vermeleri gerektiğini hissederek, topluma karşı güçlü bir yükümlülük duygusu besliyorlardı. Bu ruh bugün giderek kayboluyor gibi görünüyor ve bence bu ekonomik çıkmazdan kurtulmanın büyük bir yolu da bu. Yapay zekanın ekonomik patlamasının ön saflarında yer alanlar, hem servetlerini hem de güçlerini vermeye istekli olmalıdırlar.

5. Sonsuzluğun Karadenizi

Dolaylı etkiler

Bu son bölüm, özellikle yapay zekâdaki olumlu gelişmelerin ve bunun sonucunda genel olarak bilim ve teknolojinin hızlanmasının dolaylı bir sonucu olarak ters gidebilecek şeyler de dahil olmak üzere, bilinmeyen bilinmezlerin tümünü kapsayan bir bölümdür. Şimdiye kadar açıklanan tüm riskleri ele aldığımızı ve yapay zekânın faydalarını toplamaya başladığımızı varsayalım. Muhtemelen “bir on yıla sıkıştırılmış bir yüzyıllık bilimsel ve ekonomik ilerleme” elde edeceğiz ve bu dünya için son derece olumlu olacak, ancak daha sonra bu hızlı ilerleme oranından kaynaklanan sorunlarla başa çıkmak zorunda kalacağız ve bu sorunlar hızla karşımıza çıkabilir. Ayrıca, yapay zekâ ilerlemesinin dolaylı bir sonucu olarak ortaya çıkan ve önceden tahmin edilmesi zor olan diğer risklerle de karşılaşabiliriz.

Bilinmeyen bilinmezliklerin doğası gereği kapsamlı bir liste yapmak imkansızdır, ancak dikkat etmemiz gereken üç olası endişeyi örnek olarak sıralayacağım:

• Biyolojide hızlı ilerlemeler. Eğer birkaç yıl içinde bir yüzyıllık tıbbi ilerlemeyi yakalarsak, insan ömrünü büyük ölçüde uzatmamız mümkün ve insan zekasını artırma veya insan biyolojisini kökten değiştirme gibi radikal yetenekler kazanma şansımız da var. Bunlar, mümkün olanın sınırlarını zorlayan ve çok hızlı gerçekleşen büyük değişiklikler olurdu. Sorumlu bir şekilde yapılırsa olumlu sonuçlar doğurabilirler (ki bu, Sevgi Dolu Zarafet Makineleri’nde de belirttiğim gibi benim umudum), ancak her zaman çok yanlış gitme riski de vardır; örneğin, insanları daha zeki hale getirme çabaları onları daha istikrarsız veya güç arayışında hale getirebilir. Ayrıca, bir gün insanlığın fiziksel sınırlarını aşmasına yardımcı olabilecek, ancak aynı zamanda rahatsız edici bulduğum riskleri de beraberinde getiren “yüklemeler” veya “tüm beyin öykünmesi”, yazılımda somutlaştırılmış dijital insan zihinleri sorunu da var.
• Yapay zekâ, insan yaşamını sağlıksız bir şekilde değiştiriyor. Her konuda insanlardan çok daha zeki milyarlarca zekânın olduğu bir dünya, yaşamak için çok tuhaf bir dünya olacak. Yapay zekâ aktif olarak insanlara saldırmayı hedeflemese bile (Bölüm 1) ve devletler tarafından açıkça baskı veya kontrol için kullanılmasa bile (Bölüm 3), normal iş teşvikleri ve görünüşte rızaya dayalı işlemler yoluyla birçok şey ters gidebilir. Bunun ilk ipuçlarını yapay zekâ psikozu, yapay zekânın insanları intihara sürüklemesi ve yapay zekâlarla romantik ilişkiler hakkındaki endişelerde görüyoruz. Örneğin, güçlü yapay zekâlar yeni bir din icat edip milyonlarca insanı ona dönüştürebilir mi? Çoğu insan bir şekilde yapay zekâ etkileşimlerine “bağımlı” hale gelebilir mi? İnsanlar yapay zekâ sistemleri tarafından “kukla” haline getirilebilir mi; burada bir yapay zekâ esasen her hareketlerini izler ve onlara her zaman tam olarak ne yapmaları ve söylemeleri gerektiğini söyler, bu da “iyi” bir hayata yol açar ancak özgürlükten veya herhangi bir başarı gururundan yoksun bir hayata neden olur? Black Mirror’ın yaratıcısıyla oturup beyin fırtınası yapmaya kalksam, bu senaryolardan düzinelercesini üretmek zor olmazdı. Bence bu, 1. Bölümdeki sorunları önlemek için gerekli olanın ötesinde, Claude’un Anayasası’nı geliştirmek gibi şeylerin önemine işaret ediyor. Yapay zeka modellerinin, düşünceli insanların onaylayacağı şekilde, ince bir şekilde çarpıtılmış bir biçimde değil, kullanıcılarının uzun vadeli çıkarlarını gerçekten gözettiğinden emin olmak kritik görünüyor.
• İnsan amacı. Bu, önceki noktayla ilgili, ancak yapay zekâ sistemleriyle belirli insan etkileşimlerinden ziyade, güçlü yapay zekâya sahip bir dünyada insan yaşamının genel olarak nasıl değiştiğiyle ilgili. İnsanlar böyle bir dünyada amaç ve anlam bulabilecekler mi? Bence bu bir tutum meselesi: “Sevgi Dolu Zarafet Makineleri” nde de söylediğim gibi, insan amacının bir şeyde dünyanın en iyisi olmakla ilgili olmadığını ve insanların sevdikleri hikayeler ve projeler aracılığıyla çok uzun süreler boyunca bile amaç bulabileceklerini düşünüyorum. Sadece ekonomik değer üretimi ile öz saygı ve anlam arasındaki bağı koparmamız gerekiyor. Ancak bu, toplumun yapması gereken bir geçiş ve bunu iyi yönetememe riski her zaman mevcut.

Tüm bu potansiyel sorunlarla ilgili umudum, bizi öldürmeyeceğine güvendiğimiz, baskıcı bir hükümetin aracı olmayan ve gerçekten bizim adımıza çalışan güçlü bir yapay zekânın olduğu bir dünyada, bu sorunları öngörmek ve önlemek için yapay zekânın kendisini kullanabilmemizdir. Ancak bu garanti değil; diğer tüm riskler gibi, dikkatle ele almamız gereken bir şey.

İnsanlığın sınavı

Bu denemeyi okumak, oldukça zorlu bir durumda olduğumuz izlenimini verebilir. Yazması benim için de oldukça zorlayıcıydı; oysa ” Sevgi Dolu Zarafet Makineleri” adlı eserim, yıllardır kafamda yankılanan olağanüstü güzel bir müziğe şekil ve yapı kazandırmak gibiydi. Ve durumun gerçekten zor olan birçok yönü var. Yapay zeka, insanlığa birden fazla yönden tehdit getiriyor ve farklı tehlikeler arasında gerçek bir gerilim var; bazılarını hafifletmek, eğer çok dikkatli bir şekilde hareket etmezsek, diğerlerini daha da kötüleştirme riskini taşıyor.

Yapay zekâ sistemlerini, insanlığı otonom olarak tehdit etmeyecek şekilde dikkatlice inşa etmek için zaman ayırmak, demokratik ulusların otoriter ulusların önünde kalma ve onlara boyun eğmeme ihtiyacıyla gerçek bir çelişki içindedir. Ancak, otokrasilerle mücadele için gerekli olan aynı yapay zekâ destekli araçlar, aşırıya kaçılırsa, kendi ülkelerimizde tiranlık yaratmak için içe dönük hale getirilebilir. Yapay zekâ güdümlü terörizm, biyolojinin kötüye kullanılması yoluyla milyonlarca insanı öldürebilir, ancak bu riske aşırı tepki vermek bizi otokratik bir gözetim devletine götürebilir. Yapay zekânın işgücü ve ekonomik yoğunlaşma etkileri, kendi başlarına ciddi sorunlar olmasının yanı sıra, doğamızın daha iyi yönlerine başvurmak yerine, kamuoyunda öfke ve hatta sivil huzursuzluk ortamında diğer sorunlarla yüzleşmemizi zorunlu kılabilir. Her şeyden önce, bilinmeyenler de dahil olmak üzere çok sayıda risk ve bunların hepsiyle aynı anda başa çıkma ihtiyacı, insanlığın geçmesi gereken göz korkutucu bir engel oluşturmaktadır.

Dahası, son birkaç yıl, teknolojiyi durdurma veya önemli ölçüde yavaşlatma fikrinin temelde savunulamaz olduğunu açıkça ortaya koymalıdır. Güçlü yapay zeka sistemleri oluşturmanın formülü inanılmaz derecede basittir; öyle ki, doğru veri ve ham hesaplama kombinasyonundan kendiliğinden ortaya çıktığı söylenebilir. Muhtemelen insanlık transistörü icat ettiği anda, hatta belki de ateşi kontrol etmeyi ilk öğrendiğimiz anda, bunun yaratılması kaçınılmazdı. Bir şirket bunu üretmezse, diğerleri neredeyse aynı hızda üretecektir. Demokratik ülkelerdeki tüm şirketler karşılıklı anlaşma veya düzenleyici kararname ile geliştirmeyi durdurur veya yavaşlatırsa, otoriter ülkeler basitçe devam edecektir. Teknolojinin inanılmaz ekonomik ve askeri değeri ve anlamlı bir yaptırım mekanizmasının olmaması göz önüne alındığında, onları durdurmaya nasıl ikna edebileceğimizi anlamıyorum.

Yapay zekâ geliştirme konusunda, jeopolitik konulara gerçekçi bir bakış açısıyla uyumlu, hafif bir yavaşlama yolunu görüyorum. Bu yol, otokrasilerin güçlü yapay zekâya doğru ilerleyişini, onu inşa etmek için ihtiyaç duydukları kaynaklardan mahrum bırakarak birkaç yıl yavaşlatmayı içeriyor. ⁴⁶

Yani, çipler ve yarı iletken üretim ekipmanları. Bu da demokratik ülkelere, güçlü yapay zekâyı daha dikkatli bir şekilde, risklerine daha fazla önem vererek geliştirmek için “harcayabilecekleri” bir tampon bölge sağlar; aynı zamanda otokrasileri rahatlıkla geride bırakacak kadar hızlı ilerlemelerine olanak tanır. Demokrasiler içindeki yapay zekâ şirketleri arasındaki yarış, endüstri standartları ve düzenlemelerin bir karışımı yoluyla, ortak bir yasal çerçeve altında ele alınabilir.

Anthropic, çip ihracat kontrolleri ve yapay zekanın akıllıca düzenlenmesi için baskı yaparak bu yolu çok yoğun bir şekilde savundu, ancak bu görünüşte sağduyulu öneriler bile Amerika Birleşik Devletleri’ndeki (ki bu önerilere en çok ihtiyaç duyulan ülke burası) politika yapıcılar tarafından büyük ölçüde reddedildi. Yapay zeka ile yılda trilyonlarca dolar kazanılacak kadar çok para var ki, en basit önlemler bile yapay zekanın doğasında var olan siyasi ekonomiyi aşmakta zorlanıyor. Tuzak burada: Yapay zeka o kadar güçlü, o kadar göz kamaştırıcı bir ödül ki, insan uygarlığının ona herhangi bir kısıtlama getirmesi çok zor.

Sagan’ın Contact’ta yaptığı gibi, bu aynı hikayenin binlerce dünyada yaşandığını hayal edebiliyorum . Bir tür bilinç kazanır, alet kullanmayı öğrenir, teknolojinin katlanarak yükselişine başlar, sanayileşme ve nükleer silah krizleriyle yüzleşir ve eğer bunlardan sağ çıkarsa, kumdan düşünebilen makineler yapmayı öğrenerek en zor ve son meydan okumayla karşı karşıya kalır. Bu sınavdan sağ çıkıp Sevgi Dolu Zarafet Makineleri’nde anlatılan güzel toplumu inşa edip edemeyeceğimiz veya köleliğe ve yıkıma boyun eğip eğmeyeceğimiz, türümüzün karakterine ve kararlılığına, ruhumuza ve özümüze bağlı olacaktır.

Pek çok engelle karşılaşmamıza rağmen, insanlığın bu sınavı geçmek için kendi içinde yeterli güce sahip olduğuna inanıyorum. Kariyerlerini yapay zeka modellerini anlamamıza ve yönlendirmemize, bu modellerin karakterini ve yapısını şekillendirmemize adamış binlerce araştırmacıdan cesaret ve ilham alıyorum. Bu çabaların zamanla meyve verip önemli sonuçlar doğurma olasılığının yüksek olduğunu düşünüyorum. En azından bazı şirketlerin, modellerinin biyoterörizm tehdidine katkıda bulunmasını engellemek için anlamlı ticari bedeller ödeyeceklerini belirtmeleri beni cesaretlendiriyor. Birkaç cesur insanın, hakim siyasi rüzgarlara karşı koyarak, yapay zeka sistemlerine mantıklı koruma önlemleri getiren yasaları geçirmeleri beni cesaretlendiriyor. Halkın yapay zekanın risk taşıdığını anlaması ve bu risklerin ele alınmasını istemesi beni cesaretlendiriyor . Dünyanın dört bir yanındaki yılmaz özgürlük ruhu ve nerede olursa olsun tiranlığa direnme kararlılığı beni cesaretlendiriyor.

Ancak başarılı olmak istiyorsak çabalarımızı artırmamız gerekecek. İlk adım, teknolojiye en yakın olanların insanlığın içinde bulunduğu durum hakkında gerçeği söylemesidir; bunu her zaman yapmaya çalıştım; bu makaleyle bunu daha açık ve daha acil bir şekilde yapıyorum. Bir sonraki adım, dünyanın düşünürlerini, politika yapıcılarını, şirketlerini ve vatandaşlarını bu meselenin aciliyetine ve en büyük önemine ikna etmek olacaktır; yani her gün haberlere hakim olan binlerce diğer meseleye kıyasla buna düşünce ve siyasi sermaye harcamaya değer olduğunu göstermektir. Sonra cesaret zamanı gelecek; yeterli sayıda insan, mevcut eğilimlere karşı çıkacak ve ekonomik çıkarlarına ve kişisel güvenliklerine yönelik tehditlere rağmen ilkelere bağlı kalacaktır.

Önümüzdeki yıllar inanılmaz derecede zor olacak ve bizden verebileceğimizi düşündüğümüzden çok daha fazlasını isteyecek. Ancak bir araştırmacı, lider ve yurttaş olarak geçirdiğim süre boyunca, kazanabileceğimize inanmamı sağlayacak kadar cesaret ve asalet gördüm; en karanlık koşullar altında bile insanlığın, son anda bile olsa, galip gelmek için gereken gücü ve bilgeliği toplama biçimine sahip olduğuna inanıyorum. Kaybedecek zamanımız yok.

Bu makalenin taslakları üzerindeki yararlı yorumları için Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave ve Anthropic’in birçok çalışanına teşekkür etmek istiyorum.