ChatGPT, tam 728 soruluk kodlama testi çözdü: İşte sonuçlar!

IEEE Transactions on Software Engineering dergisinin Haziran sayısında yayımlanan araştırma, ChatGPT 3.5 modelini LeetCode test platformundan alınan 728 kodlama testi üzerinde terletmeye çalıştı. Yapılan test, C++, Java, JavaScript ve Python olmak üzere beş programlama dilinde gerçekleştirildi ve ünlü yapay zeka modeli, bu testten geçer not almayı başardı.

ChatGPT, geçtiğimiz aylarda yapılan kodlama testi sonuçlarını aştı

Yapay zeka teknolojisinin en çok öne çıkan özelliklerinden biri, bilgisayar kodu yazabilme yeteneği olarak göze çarpıyor. Bu alanda ChatGPT’nin performansını değerlendiren yeni bir çalışma, OpenAI tarafından geliştirilen ChatGPT 3.5 modelinin en azından geçer not aldığını gösteriyor.

ChatGPT, 728 kodlama problemi arasında, 2021 öncesi problemlerde oldukça başarılı sonuçlar ortaya koydu. Kolay seviye problemleri yüzde 89, orta zorlukta olanları yüzde 71 ve zor problemleri yüzde 40 oranında çözebildi.

Ancak, 2021 sonrası eklenen problemlerde performans ChatGPT’nin performansı gözle görülür oranda düştü: Kolay problemlerde yüzde 52, orta zorluktakilerde yüzde 40 ve zor problemlerde sadece yüzde 0.66 başarı elde edildi.

Glasgow Üniversitesi’nden araştırmacı Yutian Tang, bu düşüşün nedenini şöyle açıkladı:

“2021 sonrası algoritma problemlerinde, ChatGPT’nin işlevsel olarak doğru kod üretme yeteneği etkileniyor. Bazen kolay seviye problemlerde bile soruların anlamını kavramakta zorlanıyor.”

Araştırma ayrıca ChatGPT’nin insan hatalarını düzeltmede kendi hatalarını düzeltmekten daha iyi olduğunu ve insanlara kıyasla yüzde 50 oranında daha az çalışma süresi ve bellek kullanımı gerektiren kodlar üretebildiğini gösterdi.

Peki sizler ChatGPT’nin gösterdiği bu performansla ilgili neler düşünüyorsunuz? Görüşlerinizi bizlerle yorumlar kısmında paylaşmayı ihmal etmeyin.