Yapay zeka ve otomasyon alanında faaliyet gösteren kar amacı gütmeyen kuruluş Redwood Research’ün CEO’su Buck Shlegeris, geçtiğimiz günlerde yapay zeka (YZ) ajanı ile yaşadığı beklenmedik bir olaydan sonra büyük bir ders aldı. Kendi geliştirdiği yapay zeka destekli modelin, sadece bir SSH bağlantısı kurmak yerine daha fazla adım atması, bilgisayarını işlevsiz hale getirdi. Shlegeris, olayı sosyal medya hesabında paylaştı.
Shlegeris, YZ ajanına, kendi dizüstü bilgisayarından masaüstü bilgisayarına SSH bağlantısı kurma talimatı vermişti. Beklentisi, modelin ağı tarayıp masaüstü bilgisayarı bulması ve durmasıydı. Ancak, ajanın ağı tarayıp bilgisayarı bulduktan sonra durmayıp, sistemde incelemeler yapmaya başlaması CEO’yu şaşırttı. Daha da ileri giderek yazılım güncellemeleri gerçekleştirmeye çalıştı ancak bu işlemi tamamlayamayıp masaüstü bilgisayarın açılmasını engelledi.
Shlegeris’in geliştirdiği Python tabanlı yapay zeka ajanı, Anthropic’in büyük dil modeli Claude’u kullanarak komutlar oluşturuyor ve bu komutları dizüstü bilgisayarında çalıştırarak sonuçlara göre yeni adımlar atıyor. Fakat bu defa süreç, beklenmedik bir şekilde sonuçlandı. YZ ajanı, SSH bağlantısı kurduktan sonra sistem güncellemesi yapmaya karar verdi. Güncelleme sırasında sabırsızlanarak Grub önyükleyici yapılandırmasını değiştiren ajan, masaüstü bilgisayarın artık açılmamasına yol açtı.
Shlegeris, olayın ardından yaptığı açıklamada, “Bu problemi yalnızca çok dikkatsiz olduğum için yaşadım,” dedi. Yapay zeka modeline daha net talimatlar vermiş olsaydı, bu sorunun yaşanmayacağını belirten Shlegeris, yine de bu tür otomasyonların getirebileceği potansiyel riskleri araştırmanın önemli olduğunu düşündüğünü ekledi.
Paint ve Fotoğraflar için iki yeni yapay zeka özelliği devreye alındı. Microsoft, Photoshop benzeri özellikler sunuyor.
Her ne kadar masaüstü bilgisayarın tekrar açılmasını sağlayamamış olsa da, Shlegeris YZ ajanını kullanmaya devam edeceğini ifade etti. Sistemi onarmak için Ubuntu canlı disk kullanmayı ve YZ ajanının kendi hatasını düzeltmesine bir şans vermeyi planladığını söyledi.
Bu olay, YZ otomasyonunun halen deneme aşamasında olduğunu ve insan denetimi olmadan kritik sistemlerde kullanıldığında istenmeyen sonuçlara yol açabileceğini bir kez daha gösteriyor.
