Çin merkezli yapay zeka çalışmaları küresel teknoloji rekabetinde etkisini artırıyor. Alibaba’nın desteklediği Moonshot AI tarafından geliştirilen Kimi K2 adlı yeni büyük dil modeli, açık kaynak kodlu olarak yayımlandı. Model, hem mimari yapısı hem de ilk performans sonuçlarıyla dikkat çekti.
Kimi K2, toplamda 1 trilyon parametreye sahip bir Mixture-of-Experts (MoE) mimarisiyle geliştirildi. Ancak her token işleminde bu parametrelerin yalnızca yaklaşık 32 milyonu aktif şekilde çalışıyor. Bu yapı, modelin hem verimlilik hem de işlem maliyeti açısından güçlü bir denge kurmasını sağlıyor. Modelin içinde 384 uzman modülden sekizi ve bir ortak uzman, her işlemde aynı anda devreye giriyor. Kimi K2, 61 katmandan oluşuyor ve 15.5 trilyon token’lık dev bir veri setiyle eğitildi.
Eğitim sürecinde, dikkat mekanizmasında karşılaşılan dengesizlikleri önlemek amacıyla MuonClip adlı özel bir optimizasyon yöntemi kullanıldı. Bu teknikle, modelin dikkat ağırlıkları daha dengeli dağıtılarak performans kararlılığı sağlandı.
Kimi K2, aynı zamanda 128 bin token’a kadar bağlam penceresi desteği sunuyor. Bu da yaklaşık 192 sayfalık bir metni tek seferde işleyebileceği anlamına geliyor. Bu özelliğiyle uzun belgelerle çalışma konusunda öne çıkıyor.
Model, ücretsiz olarak sunulan Kimi uygulaması üzerinden kullanıcılarla buluşuyor. Açık kaynak kodlu yapısı sayesinde geliştiriciler tarafından farklı projelere entegre edilebiliyor. Kullanım maliyetleri, mevcut büyük dil modellerine kıyasla oldukça düşük seviyede tutulmuş durumda.
1 milyon giriş token’ı için yalnızca 15 cent, çıkış token’ı içinse 2.5 dolar ücret talep ediliyor. Bu fiyatlar, örneğin Claude modelinin 75 dolarlık çıkış token maliyetiyle karşılaştırıldığında dikkat çekici bir fark oluşturuyor.
Modelin yayınlanmasının ardından geçen dört gün içinde gelen ilk kullanıcı geri bildirimleri büyük ölçüde olumlu. Özellikle sosyal medyada yapılan değerlendirmelerde, kodlama görevlerinde modelin yüksek doğruluk oranı sağladığı ifade ediliyor. MagicPath kurucusu Pietro Schirano, Kimi K2’nin Claude 3.5 Sonnet’ten sonra üretimde kullanmaya yaklaştığı ilk model olduğunu belirtti.
