MacBook’a iPhone Takarak Yapay Zeka Çalıştırdılar: Performans Arttı
iPhone 17 Pro Max ve M4 Pro MacBook Pro kullanarak yapay zeka prefill hızlarını yüzde 44 artıran backburner yazılımı detayları.
Qwen3.8-27B gibi gelişmiş yapay zeka modellerini yerel olarak çalıştırmak, sistem belleği ve VRAM miktarına bağlı olarak zorlayıcı olabiliyor. M4 Pro MacBook Pro cihazlardaki 24GB birleşik bellek, bu tür modellerin prefill hızlarında darboğaz yaratabiliyor. u/StayLameBro adlı kullanıcı, iPhone 17 Pro Max modelini USB-C üzerinden MacBook Pro’ya bağlayarak bu soruna çözüm buldu.
Backburner adlı açık kaynaklı yazılım sayesinde, iş yükü iki cihaz arasında paylaştırılarak yapay zeka modelinin prefill performansında yüzde 44'e varan bir artış sağlandı. Yöntemde MacBook Pro, her 256 tokenlık grubun ilk 40 katmanını işleyip iPhone’a aktarırken; iPhone 17 Pro Max, A19 Pro çipinin GPU'sunu kullanarak 41 ile 64 arasındaki katmanları işliyor. Cihazın Neural Engine birimi de eski bağlam verilerini derleyerek işlem süresini kısaltıyor. Bu süreçle 140 bin bağlam uzunluğunda token yazma süresi 279 milisaniyeden 176 milisaniyeye kadar düşebiliyor.
Yapılan testlerde farklı bağlam pencerelerinde hız artışları gözlemlendi. 8K bağlamda hız 132 tok/saniyeden 177 tok/saniyeye çıkarak yüzde 35 artış gösterirken; 16K bağlamda 109 tok/saniyeden 157 tok/saniyeye yükselerek yüzde 44 iyileşme sağladı. 32K bağlam penceresinde ise hız 101 tok/saniyeden 130 tok/saniyeye ulaşarak yüzde 29 gelişim kaydetti.
Sistemin bazı teknik sınırları bulunuyor; örneğin 64K altındaki metin oluşturma hızları üzerinde iPhone'un bir hızlandırıcı etkisi olmuyor ve bu işlemler MacBook tarafından yapılıyor. Gelecekte A20 Pro çipli iPhone 18 Pro modellerinin, sahip oldukları çift 16 çekirdekli Neural Engine yapısıyla mevcut 7 çekirdekli GPU'ya kıyasla daha yüksek verimlilik sunabileceği öngörülüyor.