Copilot+ PC’ler Artık Microsoft Mu ile Daha Güçlü ve Akıllı
Microsoft sadece 330 milyon parametreye sahip ve yerel olarak bilgisayarlarda konuşarak kontrol edilebilen 'Mu' mini asistanını duyurdu.
Microsoft, yapay zeka alanındaki son yeniliğini duyurdu: Mu adını verdiği yeni nesil cihaz içi küçük dil modeli. Özellikle karmaşık dil girişlerini anlayıp cihazdaki işlevlere dönüştürme yeteneğiyle öne çıkan Mu, Copilot+ PC’lerde ve Windows Insider’lara sunulan Dev Channel’daki Ayarlar uygulamasının temelini oluşturuyor.
Mu’nun en dikkat çekici özelliği, Nöral İşlem Birimi (NPU) üzerinde tamamen çalışması. Bu sayede saniyede 100’den fazla belirteçle yanıt vererek, kullanıcı deneyiminde akıcılık ve hız sunuyor. Microsoft, bu modelin Ayarlar’daki aracının zorlu kullanıcı deneyimi (UX) gereksinimlerini karşıladığını belirtiyor.
Microsoft Mu Nasıl Çalışıyor? İşte Tasarım ve Optimizasyon Detayları
Microsoft’un önceki Phi Silica modeliyle NPU’larda çalışma deneyimi, Mu’nun geliştirilmesinde önemli bir rol oynamış. Mu, NPU’larda ve uç cihazlarda verimli çalışmak üzere sıfırdan tasarlanmış, mikro boyutlu, göreve özgü bir dil modeli olarak karşımıza çıkıyor.
Özellikle Copilot+ PC’lerdeki NPU’lar için optimize edilmiş verimli bir 330M kodlayıcı-kod çözücü dil modeli olan Mu, dönüştürücü kodlayıcı-kod çözücü mimarisini kullanıyor. Bu mimari, girişi sabit uzunlukta gizli bir gösterime dönüştüren bir kodlayıcı ve bu gösterime dayalı çıktı belirteçleri üreten bir kod çözücü içeriyor.
Bu tasarım, önemli verimlilik avantajları sağlıyor. Giriş belirteçlerini çıktı belirteçlerinden ayırarak, Mu’nun tek seferlik kodlaması hesaplama ve bellek yükünü büyük ölçüde azaltıyor. Örneğin, bir Qualcomm Hexagon NPU’da, Mu’nun kodlayıcı-kod çözücü yaklaşımı, benzer boyuttaki yalnızca kodlayıcı modeline kıyasla yaklaşık %47 daha düşük ilk belirteç gecikmesi ve 4,7 kat daha yüksek kod çözme hızı elde etti. Bu kazanımlar, cihaz içi ve gerçek zamanlı uygulamalar için kritik öneme sahip.
Mu’nun tasarımı, NPU’ların kısıtlamaları ve yetenekleri göz önünde bulundurularak dikkatle yapılmış. Model mimarisi ve parametre şekilleri, donanımın paralellik ve bellek sınırlarına daha iyi uyacak şekilde ayarlanmış. Ayrıca, kodlayıcı ve kod çözücü arasındaki parametre dağıtımı optimize edilerek parametre başına performans maksimize edilmiş.
Model ayrıca, toplam parametre sayısını azaltmak için belirli bileşenlerde ağırlık paylaşımı kullanıyor. Bu, hem bellek tasarrufu sağlıyor hem de kodlama ve kod çözme sözcük dağarcıkları arasındaki tutarlılığı artırıyor. Son olarak, Mu, operasyonlarını dağıtım çalışma zamanı tarafından desteklenen NPU tarafından optimize edilmiş operatörlerle sınırlayarak NPU’nun hızlandırma yeteneklerini tam olarak kullanıyor. Tüm bu donanım farkında optimizasyonlar, Mu’yu hızlı, cihaz üzerinde çıkarım için son derece uygun hale getiriyor.