Yapay zeka ajanları için siber bağışıklık dersleri

Yapay zeka sistemlerini korumak; ister operatör hatalarından, ister kötü niyetli müdahalelerden, ister sadece istikrarsız davranışlardan kaynaklansın, geleneksel BT sistemlerine kıyasla çok daha zordur. Bunun iki temel nedeni vardır. Birincisi, yapay zeka çıktıları olasılıksaldır; bu nedenle aynı komut her çalıştırıldığında farklı yanıtlar verebilir. İkincisi, günümüzün büyük dil modelleri (LLM’ler), komutları verilerden güvenilir bir şekilde ayırt etme yeteneğine sahip değildir. Yapay zeka sistemlerinin, daha önce defalarca ele aldığımız kanıtlanmış güvenlik sorunlarına rağmen, bu sistemleri kullanmanın potansiyel ekonomik getirisini göz ardı etmek imkansızdır. Bu nedenle birçok şirket, basit yapay zeka asistanlarının ötesine geçerek yapay zeka ajanlarına yönelir. Bu ajanlar görevlerini kendi başlarına yerine getirir ve veri tabanlarını okumaktan üretim süreçlerindeki ayarları değiştirmeye kadar, insanlarla aynı araçlara doğrudan erişime sahiptir. Uzmanlarımız, yürüttükleri yeni çalışmada, olası sorunları asgari düzeyde tutmak için ortaya çıkan risklerin nasıl açıkça tanımlanıp en aza indirilebileceğini incelediler. Bu yaklaşım, Siber Bağışıklık ve Tasarımda Güvenlik ilkelerini benimseyip uyarlamaktadır.

Tasarımda Güvenlik’in temel ilkeleri

Bu disiplinin tüm ilkeleri, yapay zeka ajanları da dahil olmak üzere herhangi bir bilgisayar sisteminin tasarımına evrensel olarak uygulanabilir. Aradaki fark, her bir ilkenin yapay zeka senaryolarına ne kadar derinlemesine uyarlanması ve yeniden düzenlenmesi gerektiğidir.

1. Güvenlik, tasarım aşamasından itibaren ayrı ve önemli bir faktördür. Güvenlik hedefleri ve varsayımları projenin ilk gününden itibaren belirlenir ve geliştirme sürecinin her aşamasında bu ilkelere sadık kalınır. Yapay zeka ajanları için bu varsayımlar üç temel noktayı içermelidir: (i) Dil modeli güvenilir olmayan bir kaynak olarak kabul edilir, (ii) Her türlü harici veri potansiyel olarak zararlı kabul edilir ve (iii) Geri alınamaz eylemler, zorunlu insan onayı olmadan özerk bir şekilde gerçekleştirilemez.
2. Sistem, saldırıya uğrayacağı varsayımıyla tasarlanmıştır.
3. Güvenilir bilgi işlem tabanı ve saldırı yüzeyi en düşük seviyede tutulur. Ajanlara yalnızca gerçekten ihtiyaç duydukları araçlar, sınırlı yetkiler ve mümkün olan en az miktarda bağlam bilgisi verilir. Güvenlik ilkesinin uygulanması; ilke izleyicisi, ajan donanımı ve izolasyon mekanizmaları (sandbox’lar) gibi tamamen deterministik bileşenler tarafından yürütülür.
4. En az ayrıcalık ilkesi geçerlidir. Her ajanın, görevini yerine getirmek için ihtiyaç duyduğu en temel düzeyde sınırlandırılmış kendine özgü kimlik bilgileri ve erişim yetkileri (kimlik) vardır. Bir ajanın geçici olarak daha yüksek yetki düzeyine ihtiyacı olması durumunda, bu yetkileri ancak dışarıdan onay aldıktan sonra elde eder ve bu yetkiler, söz konusu görevin süresi boyunca geçerli olur.
5. Bileşenler birbirinden izole edilmiştir. Ajan tabanlı sistemlerde bu, en karmaşık ve çok katmanlı mimari sorunlardan biridir. Ajan kümesi, yalıtılmış bir ortamda (sandbox veya sanal makine) çalıştırılmalı ve ajanlar birbirlerinden mümkün olduğunca izole tutulmalıdır. Güvenilir ve güvenilir olmayan ortamlarda veri işleme de birbirinden ayrı tutulur. Örneğin, bir ajan bir çekme talebini okuyup kodun taslağını hazırlarken, bir diğeri ise talebin içinde yer alabilecek potansiyel olarak zararlı metni hiç görmeden bu çalışmayı inceler.
6. Varsayılan kural, erişimi reddetmektir. Güvenlik ilkeleri şu kuralı izler: Açıkça izin verilmeyen her şey yasaktır. Buna araç çağrıları, ajanlar arasındaki etkileşimler ve ağ trafiği de dahildir.
7. Derinlemesine savunma sistemi devreye alınmıştır. Farklı önlemler aynı anda uygulanmalı ve birbirlerini desteklemelidir. Olasılıksal savunma mekanizmaları (örneğin yapay zeka koruma önlemleri [dil modelleri için bir “güvenlik duvarı”] veya uyum [modelin neyin kabul edilebilir, neyin kabul edilemez olduğuna dair kendi algısı]) herhangi bir resmi güvenlik garantisi sunamaz. Bununla birlikte, bu unsurlar sistemi genel olarak daha güvenli hale getirir ve değerli bir telemetri kaynağı işlevi görür.
8. Tedarik zinciri korunur. Bazı ajanlar kendi başlarına beceriler, kütüphaneler ve diğer yazılım bileşenlerini yükleyebildiğinden, bu yetenekler için katı kurallar getirilmesi gerekir. Ya bunları tamamen engelleyin ya da bunları, belirli bileşenlerin belirli sürümlerinden oluşan, önceden onaylanmış kapalı bir listeyle sınırlayın. Bulut tabanlı büyük dil modelleri (LLM) üzerine kurulu sistemler, model güncellemeleri konusunda ek bir riskle karşı karşıyadır. Bir gün, aynı API talebi, farklı güvenlik özelliklerine sahip başka bir dil modeli tarafından yanıtlanabilir.

Yapay zeka güvenliğindeki tuzaklar

Tasarımda Güvenlik genel ilkeleri iyi bilinmektedir ve kağıt üzerinde basit görünmektedir. Ancak bunları yapay zeka sistemlerine uygulamak zor bir iştir, çünkü ajanlar inanılmaz derecede esnektir. Örneğin, bir güvenlik ekibi, bir geliştiricinin bilgisayarındaki bir ajanın bir sanal ortamda çalıştığını ve bu ortamın dışında hiçbir şeyi değiştiremeyeceğini düşünebilir. Ancak bir saldırgan, hatta ajanın kendisi bile, bu görünüşte sağlam korumayı aşmak için sanal ortamın kısıtlamadığı yerel bir MCP sunucusu üzerinden komutlar çalıştırmaktan, sistemde yüklü başka bir yapay zeka ajanını yeniden yapılandırmaya kadar düzinelerce yol bulabilir. İşleri daha da zorlaştıran şey, saldırı vektörlerinin yelpazesinin çok geniş olmasıdır: Ajanın yapılandırmasındaki rastgele alanlardan, beceri dosyasındaki masum görünümlü metin dizelerine kadar uzanır.

Tasarımcıların genellikle göz ardı ettiği ciddi bir sorun, kullanıcı yorgunluğudur. Yoğun çalışan bir ajan, her dakika düzinelerce talep gönderebilir ve kullanıcıdan potansiyel olarak tehlikeli eylemleri onaylamasını isteyebilir. Kişi bir saat içinde, neyi onayladığını okumadan, adeta otomatik pilotta Onayla düğmesine tıklar. Bu nedenle, bu taleplerin ne sıklıkta ortaya çıktığını ve nasıl ifade edildiğini dikkatli bir şekilde ayarlamak önemlidir. Kimse çok uzun bir talep açıklamasını okumaz. Ayrıca, çok kısa olan bir açıklama, kullanıcının doğru kararı verebilmesi için ihtiyaç duyduğu önemli ayrıntıları gizleyebilir.

Ajanlarda ve ilgili araçlarda bulunan zayıf noktalar acil bir sorundur ve bu yazılım kategorilerinin ne kadar hızlı geliştiği ve güncelleme aldığı gerçeği, sorunu daha da ciddi hale getirmektedir. LangGraph, MS Semantic Kernel ve Claude Code gibi sektör standardı platform ve uygulamalarda, kritik zayıf noktalar birden fazla kez giderilmiştir. Mimarlar, her şeyi yapan büyük bir çerçeveyi, belirli bir ajanın gerçekten ihtiyaç duyduğu özelliklere sahip, kompakt ve sadeleştirilmiş bir sistemle değiştirmeyi her zaman göz önünde bulundurmalıdır.

Bunun yanı sıra, mevcut araçlarda standart ve uzun süredir uygulanmakta olan güvenlik önlemlerinin özenle uygulanması, bir ajanın saldırıya uğraması veya beklenmedik bir şekilde davranması durumunda ortaya çıkacak zararı büyük ölçüde azaltır. Buna bir örnek, web alma aracının, ajanın talebi üzerine açabileceği alan adlarının yer aldığı katı bir izin listesidir. Ancak tasarımcılar, listenin bakımına ilişkin gizli sorunları ve ek yükü nadiren hesaba katarlar. Sonuç olarak, zamanla güncelliğini yitirir ve saldırganlara açıklar bırakır. En çarpıcı örnek, EchoLeak saldırısıdır. Microsoft 365 Copilot, harici sitelere erişim için düzgün bir şekilde uygulanmış ve oldukça etkili bir izin listesine sahipti, ancak saldırganlar ikincil bir araçtaki bir özellik ve MS Teams etki alanını kullanarak bu listeyi atlattılar.

Mimarlar ve güvenlik ekipleri için pratik ipuçları

Yapay zeka sistemi mimarları ile mühendislik ve güvenlik ekiplerinin yöneticileri, tasarım aşamasından itibaren sistemlere güvenlik önlemlerini entegre etmelidir. Öncelikle; bileşenleri birbirinden izole etmek, etkileşimleri kontrol etmek ve güvenilir bilgi işlem tabanını asgari düzeyde tutmak gibi doğrulanabilir, deterministik mekanizmalara dayanmaları gerekir.

Temel mimari kararlar arasında; ajanlar için kabul edilebilir otonomiyi tanımlamak, gizli verilere ve tehlikeli yetenek kombinasyonlarına erişimi sınırlamak, ayrıca sanal ortamlar, farklı modeller için ayrı roller ve erişim kontrol ağ geçitleri kullanmak yer alır. Sonradan eklenen kısıtlamalar riskleri azaltır, ancak güvenli bir mimarinin yerini tutmaz.

Organizasyonel ve operasyonel düzeylerde, şirketlerin ajanlarının envanterini tutmaları, güvenlik ve dağıtım ekiplerinin çalışmalarını koordine etmeleri, kapsayıcı ortamları korumaları, tedarik zincirini (AIBOM) yönetmeleri ve çok katmanlı savunma sistemini entegre etmeleri gerekmektedir.

Gözlemlenebilirlik, özel bir özen gerektirir. Yapay zeka sistemleri için bu, LLM’nin taleplerinin, yanıtlarının ve akıl yürütme süreçlerinin günlüğe kaydedilmesinin yanı sıra, ajanın çalıştığı ana bilgisayarlar ve bulut ortamlarından elde edilen ayrıntılı telemetri verilerini de içermelidir.

Ajanları tasarlamanın en zor kısmı, güvenlik, performans ve kullanışlılık arasında denge kurmaktır. Tehdit modelleme ve net bir şekilde tanımlanmış güvenlik hedefleri ile bu dengeyi nasıl kuracağınızı öğrenmek için araştırmanın tam metnini okuyabilirsiniz.