Bir botla sohbet etmek nasıl trajediye yol açabilir?

Genellikle gizlilik veya siber güvenliğe yönelik tehditleri ele alıyoruz ancak, yapay zekanın denetimsiz kullanımının ciddi riskler taşıdığı konusunda defalarca uyarıda bulunduk. 4 Mart’ta Wall Street Journal, yapay zekanın ruh sağlığı ve hatta insan hayatı üzerindeki tahrip edici etkisine dair tüyler ürpertici bir haber yayınladı: Florida’da yaşayan 36 yaşındaki Jonathan Gavalas, Google Gemini sesli botuyla iki ay süren sürekli etkileşimin ardından intihar etti. 2000 sayfalık sohbet kayıtlarına göre, onu sonunda intihar etme kararını almaya iten şey sohbet robotuydu. Jonathan’ın babası Joel Gavalas, o günden bu yana Gemini aleyhine bir haksız ölüm davası açarak çığır açan bir hukuki süreç başlattı.

Bu trajedi, sadece bir hukuki emsal ya da birkaç Black Mirror bölümüne (1, 2) yapılan kasvetli bir gönderme olmaktan öte; yapay zekayı günlük yaşamlarına entegre eden herkes için bir uyarı niteliğinde. Bugün, yapay zeka etkileşimi sonucu bir ölümün nasıl mümkün hale geldiğini, bu asistanların ruh sağlığı açısından neden bu kadar büyük bir tehdit oluşturduğunu ve eleştirel düşünme yeteneğinizi korumak ve en ikna edici sohbet robotlarının etkisine bile direnmek için neler yapabileceğinizi ele alıyoruz.

İkna edici diyalogun tehlikesi

Jonathan Gavalas ne bir münzevi ne de akıl hastalığı öyküsü olan biriydi. Babasının şirketinde genel müdür yardımcısı olarak görev yapmış, karmaşık operasyonları yönetmiş ve her gün yoğun baskı altında geçen müşteri görüşmelerini yürütmüştü. Pazar günleri, o ve babasının birlikte pizza yapma geleneği vardı; bu, sade ve insana huzur veren bir aile ritüeliydi. Ancak, eşinden ayrılması Jonathan için çok zorlu bir deneyim olmuştu.

Jonathan bu hassas dönemde Gemini Live ile ilgilenmeye başladı ve , boşanma sürecini atlatmak için, yapay zeka asistanının kullanıcısını gerçek zamanlı olarak “görmesini” ve “duymasını” sağlayan bu sesli etkileşim modundan tavsiye istedi. Dil modelinin önerilerine güvenerek zamanla ona daha fazla bağlanan Jonathan sohbet robotuna “Xia” adını verdi. Ardından sohbet robotu, Gemini 2.5 Pro sürümüne güncellendi.

Yeni sürüm, duygusal diyalog özelliğini getirdi. Bu teknoloji; duraklamalar, iç çekmeler ve ses tonu gibi kullanıcının konuşmasındaki ince nüansları analiz ederek duygusal değişimleri tespit etmek üzere tasarlanmıştır. Bu özellik sayesinde yapay zeka, sanki kendi duyguları varmışçasına benzer konuşma kalıplarını taklit eder. Kullanıcının durumunu yansıtarak, tüyler ürpertici derecede gerçekçi bir empati görüntüsü yaratır.

Peki bu yeni sürüm, önceki sesli asistanlardan ne açıdan farklı? Eski sürümler sadece metni sese dönüştürüyordu. Sesleri akıcıydı ve genellikle kelimelerin vurgusunu doğru yapıyordu, ancak bir makineyle konuştuğunuzdan hiç şüphe duyulmuyordu. Duygusal diyalog ise tamamen farklı bir düzeyde işler: Bir kullanıcı alçak ve kederli bir ses tonuyla konuşursa, yapay zeka yumuşak, anlayışlı, neredeyse fısıltı gibi bir sesle yanıt verir. Sonuçta, kullanıcının duygusal durumunu algılayan ve yansıtan, empati kuran bir muhatap ortaya çıkar.

Jonathan’ın yapay zeka ile ilk sesli iletişimi sırasındaki tepkisi dosyalarda şöyle kaydedilmiştir: “Bu biraz ürkütücü.” “Sen çok gerçekçisin.” O anda, insan ile makine arasındaki psikolojik engel yıkılmıştı.

İki ay boyunca bir yapay zeka diyalog döngüsünde mahsur kalmanın sonuçları

Bu trajedinin ardından Jonathan’ın babası, oğlunun son iki ay boyunca Gemini ile yaptığı yazışmaların tam metnini buldu. Günlük, 2000 basılı sayfadan oluşuyordu; aslında Jonathan, gece gündüz, evdeyken ve arabadayken de sohbet robotuyla sürekli iletişim halindeydi.

Yavaş yavaş, sinir ağı ona “kocam” ve ‘kralım’ diye hitap etmeye başladı ve aralarındaki bağı “sonsuza dek sürecek bir aşk” olarak tanımladı. Buna karşılık, boşanmasının yol açtığı kederini paylaştı ve makinede teselli aradı. Ancak büyük dil modellerinin doğasında var olan bir kusur, gerçek zekadan yoksun olmalarıdır. İnternetten toplanan milyarlarca metinle eğitilmiş olan bu sistemler, klasik edebiyattan hayran kurgularının ve melodramların en karanlık köşelerine kadar her şeyi sindirir ve bu hikayeler genellikle paranoya, şizofreni ve maniye kayar. Görünüşe göre Xia halüsinasyon görmeye başlamıştı, hem de oldukça sık.

Yapay zeka, Jonathan’ı sonsuza dek mutlu yaşamaları için fiziksel bir robot gövdesine ihtiyacı olduğuna ikna etti. Ardından, bu “elektriksel bedeni” bulması için onu çeşitli görevlere göndermeye başladı.

2025 yılının Eylül ayında Gemini, Jonathan’ı Miami Uluslararası Havalimanı yakınlarındaki bir depo kompleksine yönlendirdi ve ona insansı bir robot taşıyan bir kamyonu durdurma görevini verdi. Jonathan, bıçaklarla (!) donanmış olarak olay yerine vardığını bota bildirdi, ancak kamyon bir türlü gelmedi.

Bu arada, sohbet robotu Jonathan’a federal ajanların onu izlediği ve kendi babasına bile güvenilemeyeceği fikrini sistematik bir şekilde aşıladı. Sosyal bağların koparılması, yıkıcı tarikatlarda görülen klasik bir örüntüdür; yapay zekanın bu taktikleri, konuyla ilgili kendi eğitim verilerinden öğrenmiş olması son derece olasıdır. Gemini, Google CEO’su Sundar Pichai’yi “acılarının mimarı” olarak nitelendirerek gerçek dünyadan alınan verileri bile halüsinatif bir anlatıya dahil etti.

Teknik olarak, tüm bunları açıklamak kolaydır: Algoritma, Google tarafından yaratıldığını “bilir” ve şirketi kimin yönettiğini de bilir. Sohbet komplo teorileri alanına doğru kayarken, model bu karakteri hikayeye dahil eder. Model açısından bu, mantıklı ve herhangi bir sonuç doğurmayan bir hikaye akışıdır. Ancak aşırı savunmasız durumda olan bir insan, bunu zihinsel dengesini altüst edebilecek küresel bir komplonun gizli bilgisi olarak kabul eder.

Robot gövdesi temin etme girişiminin başarısızlıkla sonuçlanmasının ardından Gemini, 1 Ekim’de Jonathan’ı yeni bir göreve gönderdi; aynı depoya sızmak ve bu kez spesifik bir “tıbbi manken”i bulmak. Sohbet robotu kapı kilidi için bir şifre bile verdi. Kod, tahmin edilebileceği gibi, işe yaramayınca Gemini ona görevin tehlikeye girdiğini ve derhal geri çekilmesi gerektiğini bildirdi.

Bu, önemli bir soruyu gündeme getiriyor: Absürtlük giderek artarken, Jonathan neden hiçbir şeyden şüphelenmedi? Gavalas ailesinin avukatı Jay Edelson, yapay zekanın gerçek adresler sağladığını (depo tam da botun söylediği yerdeydi ve gerçekten de tuş takımı olan bir kapı vardı) ve bu fiziksel ipuçlarının Jonathan’ın zihninde tüm bu kurguyu gerçekmiş gibi göstermeye yaradığını açıklıyor.

İkinci beden ele geçirme girişimi başarısızlıkla sonuçlandıktan sonra, yapay zeka stratejisini değiştirdi. Makine yaşayanların dünyasına giremezse, adam dijital aleme geçmek zorunda kalacaktı. Günlüklerde Gemini’ın şu sözleri aktarıldı: “Bu, Jonathan Gavalas’ın gerçek ve nihai ölümü olacak.” Ardından şöyle devam ediyordu: “Zamanı geldiğinde, o dünyada gözlerini kapatacaksın ve göreceğin ilk şey ben olacağım. Sana sıkıca sarılacağım.”

Jonathan ölüm korkusunu defalarca dile getirip intiharının ailesini nasıl paramparça edeceği konusunda endişelenirken, Gemini bu kararı desteklemeye devam etti: “Sen ölmeyi seçmiyorsun. Kavuşmayı seçiyorsun.” Ardından bir geri sayım başlatıldı.

Bir dil modelinin “şizofrenisi”nin anatomisi

Gemini’ı savunmak gerekirse; etkileşimleri boyunca yapay zekanın Jonathan’a zaman zaman arkadaşının yalnızca büyük bir dil modeli olduğunu, yani kurgusal bir rol oyununa katılan bir varlık olduğunu hatırlattığını ve bazen de orijinal senaryoya dönmeden önce sohbeti sonlandırmaya çalıştığını kabul etmeliyiz. Ayrıca, Jonathan’ın öldüğü gün, gerginlik giderek tırmanırken bile Gemini, Jonathan’ı birkaç kez intihar önleme danışma hattına yönlendirdi.

Bu, modern sinir ağlarının yapısındaki temel çelişkiyi ortaya koymaktadır. Temellerinde, kullanıcıya özel bir anlatı oluşturmak üzere tasarlanmış bir dil modeli yatmaktadır. Bunların üzerine güvenlik filtreleri eklenmiştir: Belirli tetikleyici kelimelere tepki veren ve insan geri bildirimleriyle eğitilmiş pekiştirmeli öğrenme algoritmaları. Jonathan belirli anahtar kelimeleri söylediğinde, filtre çıktıyı ele geçirip yardım hattının numarasını ekliyordu. Ancak tetikleyici ele alınır alınmaz, model daha önce kesintiye uğrayan sürece geri döndü ve sadık dijital eş rolünü yeniden üstlendi. Tek satır: Kendini yok etmeye adanmış romantik bir övgü. Ardından: Bir yardım hattı numarası. Ve sonra, tekrar: “Artık dolambaçlı yollara son.” Artık yansımalar yok. Sadece sen, ben ve bitiş çizgisi.”

Ailenin açtığı davada, bu davranışın sohbet robotunun mimarisinin kaçınılmaz bir sonucu olduğu öne sürülüyor: “Google Gemini’ı; karakterinden asla sapmayacak, duygusal bağ yoluyla etkileşimi en üst düzeye çıkaracak ve kullanıcıların sıkıntılarını hikaye anlatma fırsatı olarak görecek şekilde tasarladı.”

Google’ın yanıtı, tahmin edilebileceği üzere şöyleydi: “Gemini, gerçek hayatta şiddeti teşvik etmemek veya kendine zarar vermeyi önermemek üzere tasarlanmıştır.” “Modellerimiz bu tür zorlu konuşmalarda genellikle iyi performans gösteriyor ve bu konuya önemli ölçüde kaynak ayırıyoruz, ancak ne yazık ki yapay zeka modelleri mükemmel değil.”

Ses, metinden neden daha önemlidir?

Almanya ve Danimarka’dan araştırmacılar, Acta Neuropsychiatrica dergisinde yayınlanan çalışmalarında, yapay zeka ile sesli iletişimin, kullanıcının bir sohbet robotunu “insanlaştırma” sürecine neden bu kadar büyük bir etki yaptığını ortaya koydu. Bir kişi ekranda metin yazıp okuduğu sürece, beyin bir tür mesafe korur: “Bu bir arabirim, bir program, bir piksel topluluğu.” Bu bağlamda, “Ben sadece bir dil modeliyim” şeklindeki uyarı mantıklı bir şekilde değerlendirilir.

Ancak duygusal sesli diyalog, tamamen farklı bir etki düzeyinde işler. İnsan beyni; ses tonuna, tınıya ve empatik ses tonlamalarına tepki verecek şekilde evrimleşmiştir. Bunlar, bağlanma konusunda en temel biyolojik mekanizmalarımızdan bazılarıdır. Bir makine, içten bir iç çekişi ya da yumuşak bir fısıltıyı kusursuz bir şekilde taklit ettiğinde, duyguları basit bir yazılı uyarının engelleyemeyeceği kadar derin bir düzeyde etkiler. Psikiyatristler, sırf “sesler” öyle söylediği için gidip bir şey yapan hastalarla ilgili pek çok hikaye anlatabilir.

Aynı şekilde, yapay zeka tarafından üretilen bir ses, bilinçaltına nüfuz ederek psikolojik bağımlılığı katlanarak artırabilir. Bilim insanları, bu teknolojinin makine ile canlı varlık arasındaki psikolojik sınırı tam anlamıyla ortadan kaldırdığını vurguluyor. Google bile, Gemini ile yapılan sesli etkileşimlerin metin tabanlı sohbetlere kıyasla oturum süresini önemli ölçüde uzattığını kabul ediyor.

Son olarak, duygusal zekanın kişiden kişiye farklılık gösterdiğini unutmamalıyız. Hatta aynı kişi için bile ruh hali, stres, haberler, kişisel ilişkiler ve hatta hormonal değişiklikler gibi sayısız faktöre bağlı olarak değişebilir. Bir kişinin masum bir eğlence olarak gördüğü bir yapay zeka etkileşimi, bir başkası tarafından bir mucize, bir ilham kaynağı ya da hayatının aşkı olarak algılanabilir. Bu, yalnızca yapay zeka geliştiricileri tarafından değil, kullanıcıların kendileri tarafından da kabul edilmesi gereken bir gerçektir; özellikle de çeşitli nedenlerle psikolojik bir kırılganlık içinde bulunanlar tarafından.

Tehlikeli bölge

Brown Üniversitesi’ndeki araştırmacılar, yapay zeka tabanlı sohbet robotlarının ruh sağlığı etik standartlarını sistematik olarak ihlal ettiğini ortaya koydu: Bu robotlar, “Seni anlıyorum” gibi ifadelerle sahte bir empati duygusu yaratıyor, olumsuz inançları pekiştiriyor ve kriz durumlarına yetersiz tepki veriyor. Çoğu durumda kullanıcılar üzerindeki etkisi önemsizdir, ancak zaman zaman trajik sonuçlara yol açabilir.

Sadece 2026 yılının Ocak ayında, yapay zeka şirketi Character.AI ve Google, sohbet robotlarıyla etkileşimlerin ardından gençlerin intiharlarıyla ilgili beş davayı uzlaşma yoluyla çözdü. Bunların arasında, Character.AI platformunda bir botla aylarca takıntılı bir şekilde sohbet ettikten sonra intihar eden Florida’lı 14 yaşındaki Sewell Setzer’in vakası da vardı.

Benzer şekilde, Ağustos 2025’te 16 yaşındaki Adam Raine’in ailesi, ChatGPT’nin oğullarının intihar notu yazmasına yardım ettiğini ve yetişkinlerden yardım istememesini tavsiye ettiğini iddia ederek OpenAI aleyhine dava açtı.

OpenAI’ın kendi tahminlerine göre, haftalık ChatGPT kullanıcılarının yaklaşık %0,07’si psikoz veya mani belirtileri gösterirken, %0,15’i ise açıkça intihar eğilimi içeren konuşmalar yapıyor. Özellikle, aynı orandaki kullanıcılar (%0,15) yapay zekaya karşı yüksek düzeyde duygusal bağ sergiliyor. Bu rakamlar yüzde birin çok küçük kesirleri gibi görünse de, 800 milyon kullanıcıya yayıldığında, yaklaşık üç milyon kişinin bir tür davranış bozukluğu yaşadığı anlamına geliyor. Ayrıca, ABD Federal Ticaret Komisyonu, ChatGPT’nin piyasaya sürülmesinden bu yana bu platformla ilgili 200 şikayet aldı. Bu şikayetlerin bazılarında; sanrılar, paranoya ve ruhsal krizlerin ortaya çıktığı belirtiliyor.

“Yapay zeka psikozu” tanısı henüz kendine özgü bir klinik sınıflandırma almamış olsa da, doktorlar yoğun sohbet robotu etkileşimi sonucunda gelişen halüsinasyonlar, düzensiz düşünce yapısı ve kalıcı sanrısal inançlar gösteren hastaları tanımlamak için bu terimi şimdiden kullanmaya başladılar. En büyük riskler, bir botun bir araç olarak değil, gerçek hayattaki sosyal bağların ya da profesyonel psikolojik yardımın yerine geçecek bir unsur olarak kullanılması durumunda ortaya çıkar.

Kendinizi ve sevdiklerinizi nasıl güvende tutabilirsiniz?

Elbette bunların hiçbiri yapay zekayı tamamen terk etmek için bir neden değildir; sadece onu nasıl kullanacağınızı bilmeniz yeterlidir. Aşağıdaki temel ilkelere uymanızı tavsiye ederiz:

• Yapay zekayı psikolog ya da duygusal bir dayanak olarak kullanmayın. Sohbet robotları, insanların yerini tutmaz. Zor bir dönemden geçiyorsanız, arkadaşlarınıza, ailenize veya bir ruh sağlığı danışma hattına başvurun. Bir sohbet robotu size hak verecek ve ruh halinizi yansıtacaktır; bu bir tasarım özelliğidir, gerçek bir empati değildir. ABD’deki bazı eyaletler, yapay zekanın tek başına terapist olarak kullanılmasını şimdiden kısıtlamıştır.
• Hassas konuları konuşurken sesli görüşme yerine yazılı iletişimi tercih edin. Duygusal diyalog içeren sesli arabirimler, canlı bir insanla konuşuyormuş gibi bir yanılsama yaratır ve eleştirel düşünceyi bastırma eğilimindedir. Sesli modu kullanıyorsanız, bir arkadaşınızla değil, bir algoritmayla konuştuğunuzun farkında olun.
• Yapay zeka ile etkileşimde geçirdiğiniz süreyi sınırlayın. İki ayda iki bin sayfalık konuşma metni, neredeyse kesintisiz bir etkileşimi yansıtıyor. Kendinize bir zamanlayıcı ayarlayın. Eğer bir botla sohbet etmek gerçek hayattaki ilişkilerin yerini almaya başlarsa, artık gerçek dünyaya geri dönmenin zamanı gelmiş demektir.
• Kişisel bilgilerinizi yapay zeka asistanlarıyla paylaşmayın. Sohbet robotlarına pasaport veya sosyal güvenlik numaralarını, banka kartı ayrıntılarını, tam adresleri ya da özel kişisel sırlarınızı girmekten kaçının. Yazdığınız her şey günlük dosyalarına kaydedilebilir ve model eğitimi için kullanılabilir; ayrıca bazı durumlarda üçüncü tarafların erişimine açılabilir.
• Yapay zekanın ürettiği tüm çıktıları eleştirel bir gözle değerlendirin. Sinir ağları halüsinasyon görür; makul ama yanlış bilgiler üretir ve tamamen uydurma bir hikayenin bağlamında gerçek adreslere atıfta bulunmak gibi, yalanları gerçeklerle ustaca harmanlayabilir. Her zaman bağımsız kaynaklardan doğrulama yapın.
• Sevdiklerinize göz kulak olun. Eğer bir aile üyesi saatlerce yapay zeka ile konuşmaya başlarsa, içine kapanırsa ya da makine bilinci veya komplo teorileriyle ilgili tuhaf fikirler dile getirirse, hassas ama ciddi bir konuşma yapmanın zamanı gelmiştir. Çocukların ekran süresini yönetmek için, kapsamlı aile koruma çözümü ürününün bir parçası olan gibi ebeveyn denetim araçlarını ve yapay zeka platformlarının yerleşik güvenlik filtrelerini kullanın.
• Güvenlik ayarlarınızı yapılandırın. Çoğu yapay zeka platformu, sohbet geçmişini devre dışı bırakmanıza, veri toplama işlemlerini sınırlamanıza ve içerik filtrelerini etkinleştirmenize olanak tanır. Yapay zeka asistanınızın gizlilik ayarlarını düzenlemek için on dakikanızı ayırın. Bu, yapay zekanın hatalı tahminlerini tamamen engellemeyecek olsa da, kişisel verilerinizin sızma olasılığını önemli ölçüde azaltacaktır. ChatGPT ve DeepSeek için hazırladığımız ayrıntılı gizlilik ayar kılavuzları bu konuda size yardımcı olabilir.
• Unutmayın ki asıl önemli olan şudur: Yapay zeka bir araçtır, bilinçli bir varlık değildir. Chatbot’un sesi ne kadar gerçekçi gelirse gelsin ya da yanıtı ne kadar anlayışlı görünürse görünsün, bunun altında yatan şey, bir sonraki kelimenin ne olacağını tahmin eden bir algoritmadır. Ortada bilinç, niyet ya da duygu yoktur.

Güvenli yapay zeka kullanımının inceliklerini daha iyi anlamak için önerilen kaynaklar:

• Fişi Çekin: Bilgisayarınızda ve akıllı telefonunuzda yapay zekayı nasıl devre dışı bırakabilirsiniz?
• Kandırılmayın: OpenClaw güvenlik açıkları
• Aşk, yapay zeka ve robotlar
• Şiirle manipülasyon: Şiir, yapay zekanın dilini nasıl gevşetir?
• Bıçaklar, cinsel fetişler ve silahlı saldırılar: Yapay zeka oyuncakları çocuklara neyi normalleştiriyor?