- GGUF gibi formatlardaki nicelleştirilmiş modeller, güçlü LLM'lerin sınırlı donanım üzerinde çalışmasına olanak tanıyarak gerekli VRAM miktarını azaltır.
- Üretim hızı ve bellek tüketimi arasında denge kurmak için num_batch ve num_ctx gibi parametrelerin ayarlanması şarttır.
- Fiziksel bakım ve sürücü güncellemeleri, ekran kartının termal kısıtlamadan veya yazılım hatalarından etkilenmemesini sağlar.
- Ortam değişkenlerini yapılandırmak ve Flash Attention'ı kullanmak, yerel ortamlarda KV Cache yönetimini önemli ölçüde optimize eder.
Ollama ile evde kendi yapay zekânızı oluşturma macerasına atıldıysanız, sadece "kur" düğmesine tıklamanın yeterli olmadığını fark etmişsinizdir. Bazen model çalışmaya başlar ancak kelime kelime yazar , ya da daha kötüsü, tüm süreci durduran korkunç "yetersiz bellek" hatasını verir. Yazılımın donanımınızla iyi çalışmasını sağlamak neredeyse bir sanattır, özellikle birden fazla GPU'nuz veya karma bir işlemci ve grafik kartı yapılandırmanız varsa.
Sorunsuz bir deneyim sağlamak ve sürekli görev yöneticisini kontrol etmekten kaçınmak için, dahili parametreleri ince ayarlamak ve donanımınızın sağlığını korumak çok önemlidir. Bu sadece piyasadaki en pahalı karta sahip olmakla ilgili değil, aynı zamanda binlerce token işlerken silikonun aşırı ısınmasını önlemek için nicelleştirme, toplu işleme ve hava akışını nasıl yapılandıracağınızı bilmekle de ilgilidir. Sisteminizden en yüksek performansı nasıl elde edeceğinizi birlikte inceleyelim.
GPU yönetimi ve donanım çakışması çözümü
Sık karşılaşılan bir sorun, Ollama'nın özel grafik kartını algılamaması veya anakarttaki entegre grafikleri kullanmaya çalışmasıdır. CPU %100 kullanımdayken birincil GPU'nuzun hareket etmediğini fark ederseniz, tahsisi zorlamanız gerekebilir. Windows 11, ekran ayarlarında grafik işlemcisini seçmenize izin verse de, bazen yazılımı yeniden yüklemek veya Nvidia kontrol panelini yüksek performansa öncelik verecek şekilde ayarlamak gerekebilir.
Tam olarak neler olup bittiğini anlamak için, konsolda nvidia-smi gibi araçları kullanmak en iyisidir ; bu araç size ne kadar VRAM kullanıldığını ve hangi işlemin ekran kartını kullandığını söyleyecektir. Docker ile karmaşık bir sisteminiz varsa, Nvidia Container Toolkit'i kurduğunuzdan ve konteynerin CUDA çekirdeklerine gerçek erişime sahip olması için çalışma zamanını yapılandırdığınızdan emin olun.
Nicelleştirmenin anahtarı: Daha az bit, daha fazla hız.
Yerel modeller söz konusu olduğunda, GGUF formatı, isteğe bağlı yükleme yetenekleri sayesinde en üstün format olarak öne çıkıyor. Nicelleştirme esasen modelin ağırlıklarının sıkıştırılmasını içerir ; FP16'dan 4 bite geçiş, gerekli VRAM'i önemli ölçüde azaltır. 7 bitlik tam hassasiyetli bir model 14 GB gerektiriyorsa, Q4_K_M'deki nicelleştirilmiş bir sürüm yaklaşık 4,7 GB'a düşebilir ve bu da daha mütevazı grafik kartlarına tamamen sığmasını sağlar.
Doğru sürümü seçmek için mevcut VRAM'inizi kontrol etmeniz gerekir. 8 GB'ınız varsa, fazla düşünmeyin ve kalite ile hız arasında mükemmel bir denge sağlayan Q4_K_M'ye doğrudan geçin. 24 GB VRAM'iniz varsa, araştırma görevlerinde maksimum hassasiyet için Q8_0 veya FP16'ya yükseltme yapabilirsiniz . Belirli bir nicelemeyi zorlamak için llama3:70b-q5 gibi etiketler kullanarak belirli sürümleri indirebileceğinizi unutmayın .
Gelişmiş çıkarım ayarları: Toplu işlem ve Bağlam
Toplu işlem veya num_batch, saniyede işlenen token sayısını (verimlilik) gerçekten artıran şeydir. Varsayılan olarak genellikle 512'ye ayarlanır, ancak yeterli belleğiniz varsa, bunu 1024 veya 2048'e çıkarmak, eş zamanlı istekler için yanıt süresini iki katına çıkarabilir , ancak biraz daha fazla VRAM tüketecektir. Bu, bir süpermarkette tek seferde bir müşteriye hizmet vermekten, birden fazla alışveriş sepetini paralel olarak işlemeye geçmek gibidir.
Öte yandan, ` num_ctx` bağlam penceresini tanımlar. Bu değer ne kadar büyük olursa, konuşma kalıbı o kadar çok hatırlanır, ancak KV önbelleği bellek tüketmeye başlar. Günlük kullanım için 4096 veya 8092 belirteç fazlasıyla yeterlidir. Uzun bağlamlarla sistemin çöktüğünü fark ederseniz, önbellek bellek yükünü %30 ila %50 oranında azaltan `OLLAMA_FLASH_ATTENTION=1` ortam değişkenini etkinleştirin.
Yetersiz Bellek Hatasına (OOM) Karşı Stratejiler
CUDA bellek yetersizliği hatasıyla karşılaştığınızda , birkaç çözüm yolunuz vardır. En basiti, modelin niceleme değerini düşürmektir. Bu yeterli değilse, `num_gpu` parametresini ayarlayarak CPU yükünü azaltabilirsiniz . Bu, örneğin 20 katmanı GPU'ya göndermenize ve geri kalanını sistem RAM'inde bırakmanıza olanak tanır. Daha yavaş olacaktır, ancak en azından model çökmek yerine çalışmaya devam edecektir.
İşletim sistemi için bellek ayırmak ve modelin kartı tamamen doyurmasını önlemek için OLLAMA_GPU_OVERHEAD'i yönetmek de hayati önem taşır . Docker Compose kullanıyorsanız, verimli kaynak düzenlemesi sağlamak ve yazılım ile çip arasında iletişim darboğazlarını önlemek için her zaman GPU yeteneklerini ve Nvidia sürücüsünü tanımlayın.
Fiziksel optimizasyon ve donanım bakımı
Sorun sadece yazılımla ilgili değil; termal kısıtlama, performansın sessiz düşmanıdır. 90 dereceye ulaşan bir GPU, aşırı ısınmayı önlemek için frekansını otomatik olarak düşürür ve bu da saniyede işlenen token sayısında ciddi bir düşüşe neden olur. Sisteminizin temizliğini sağlamak, altı ayda bir ince bir fırça ve basınçlı hava kullanmak ve sürekli hava akışı sağlamak, kararlı saat hızlarını korumak için çok önemlidir.
Daha maceracı olanlar için, MSI Afterburner gibi araçlar kullanılarak yapılan hafif bir hız aşırtma küçük bir performans artışı sağlayabilir, ancak bu yalnızca sıcaklıklar kontrol altındaysa geçerlidir. Benzer şekilde, sürücüleri güncel tutmak çok önemlidir, çünkü Nvidia ve AMD, bellek yönetimini ve yeni yapay zeka kütüphaneleriyle uyumluluğu optimize eden yamalar yayınlayarak, yalnızca güncelleme yaparak performansı %15'e kadar artırabilir.
Elektrik ve sistem konfigürasyonları
Dizüstü bilgisayar kullanıyorsanız, güç yönetimi modunun Maksimum Performans Tercih Edilir olarak ayarlandığından emin olun. Optimal güç modu genellikle GPU voltajını sınırlandırarak yapay zeka modelinin mevcut tüm işlem gücünü kullanmasını engeller. Ek olarak, Chrome veya Discord gibi kaynak yoğun uygulamaları kapatmak, model VRAM'e tamamen sığmadığında Ollama'nın kullanabileceği kritik RAM'i serbest bırakır.
Rocky Linux 9 gibi Linux ortamlarında, Docker konteynerleriyle izin çakışmalarını önlemek ve Nvidia araç setinin donanıma tam erişimini sağlamak için SELinux'u devre dışı bırakmanız önerilir . Optimize edilmiş bir işletim sistemini agresif bir soğutma eğrisiyle birleştirmek, kartın erken silikon bozulması riski olmadan maksimum kapasitede çalışmasını garanti eder.
En iyi performansı elde etmenin anahtarı , model nicelemesi , Flash Attention kullanan akıllı bağlam yönetimi ve aşırı ısınmayı önlemek için titiz fiziksel bakım arasında ideal dengeyi bulmaktır. Toplu işlem parametrelerini ve yük boşaltma katmanlarını mevcut VRAM'e göre ayarlayarak, herhangi bir kullanıcı mütevazı bir makineyi şaşırtıcı derecede hızlı ve istikrarlı bir yerel yapay zeka iş istasyonuna dönüştürebilir.
Genel olarak bayt ve teknoloji dünyası hakkında tutkulu bir yazar. Bilgilerimi yazarak paylaşmayı seviyorum ve bu blogda da bunu yapacağım; size gadget'lar, yazılım, donanım, teknolojik trendler ve daha fazlasıyla ilgili en ilginç şeyleri göstereceğim. Amacım dijital dünyada basit ve eğlenceli bir şekilde gezinmenize yardımcı olmaktır.