- İki ana yöntem vardır: resmi ücretsiz ChatGPT uygulamasını (Windows ve Android) kullanmak veya yerel GPT-OSS modelleri kurmak.
- Yerel GPT-OSS, maksimum gizlilik, kontrol ve abonelik gerektirmeyen bir çözüm sunar, ancak iyi bir donanım ve biraz daha fazla yapılandırma gerektirir.
- Ollama ve LM Studio, grafik arayüzleri, yönlendirmeli model indirmeleri ve ayarlanabilir parametrelerle GPT-OSS'nin kurulumunu ve kullanımını basitleştirir.
Eğer bir süredir nasıl yapılacağını düşünüyorsanız... ChatGPT benzeri bir şeyi ücretsiz olarak kurun. Aylık ücret ödemeden veya harici sunuculara bağımlı olmadan, bilgisayarınızda doğru yerdesiniz. Bugün önümüzde iki çok net yol var: kullanarak Windows için resmi ChatGPT uygulaması (ücretsiz, ancak çevrimiçi) veya aşağıdaki gibi yerel yapay zeka modellerini tercih edebilirsiniz: Ollama veya LM Studio ile GPT-OSSBilgisayarınızda mükemmel şekilde çalışan programlar.
Aşağıdaki satırlarda, bu fırsattan nasıl yararlanabileceğinizi adım adım açıklayacağız. Bilgisayarınızda "ChatGPT" bulundurmanın en iyi ücretsiz seçenekleriDonanım açısından nelere ihtiyacınız olduğu, her alternatifin avantaj ve dezavantajları ve ister öğrenci, ister profesyonel, ister programcı, isterse de yapay zekâyla uğraşmayı seven meraklı biri olun, bunlardan en iyi şekilde nasıl yararlanabileceğiniz hakkında bilgi.
“ChatGPT'yi ücretsiz olarak kurun” ifadesi gerçekte ne anlama geliyor?
Biz konuşurken ChatGPT'yi ücretsiz olarak kurun. Bilgisayarda aslında iki farklı yaklaşımdan bahsediyoruz; her birinin kendine özgü felsefesi ve sınırlamaları var ve rastgele bir şeyler yüklemeye başlamadan önce bunların çok net bir şekilde anlaşılması gerekiyor.
Bir yandan da OpenAI'nin resmi çözümleri var, örneğin... ChatGPT, Windows için yerel bir uygulamadır.Android uygulaması veya ChatGPT API'siTemel sürümleri ücretsiz olan ancak yine de bulutta çalışan bu hizmetlerde sorgularınız OpenAI'nin sunucularına gider ve yanıtlar cihazınıza geri döner.
Diğer uçta ise şunu buluyoruz: yerel açık kaynaklı yapay zeka modelleriÖrneğin, GPT-OSS gibi, bilgisayarınıza indirip kurabileceğiniz ve model indirildikten sonra sürekli internet bağlantısına ihtiyaç duymadan tüm işlemleri kendi bilgisayarınızda yapmanızı sağlayan programlar mevcuttur.
Buradaki asıl mesele, bulutun sunduğu kolaylık ve gücü mü tercih edeceğinize, harici bir sağlayıcıya belirli bir derecede bağımlılığı mı kabul edeceğinize, yoksa başka bir seçeneğe mi yöneleceğinize karar vermektir. Tamamen özel, kontrolünüz altında bir ortam.Bunun karşılığında, donanımınızdan biraz daha fazla güç talep etmeniz ve ilk kurulum için birkaç dakika ayırmanız gerekecek.
Windows ve Android'de resmi ChatGPT ücretsiz uygulaması.
OpenAI halihazırda onu kullanmanın çeşitli yollarını sunuyor. ChatGPT ücretsiz Masaüstü ve mobil cihazlarda, yakın zamana kadar yalnızca ücretli planlarda bulunan gelişmiş özelliklerle.
Android'de, resmi ChatGPT uygulaması, en yeni OpenAI özelliklerinin keyfini cebinizde çıkarmanızı sağlar. Cihazınızla senkronize olan ücretsiz bir uygulamadır. Cihazlar arası konuşmalarınızın geçmişi Ayrıca, yeni entegre görüntü oluşturucu gibi en son özellikleri de bünyesinde barındırıyor.
Mobil uygulama ile, bir açıklamaya dayanarak sıfırdan görseller oluşturabilir veya mevcut görselleri, uygulamanın motorunu kullanarak metinle kolayca değiştirebilirsiniz. üretken görüntü OpenAI'yi entegre eden bu uygulama, gerçek zamanlı sesli görüşmelere olanak tanıyan "Gelişmiş Ses Modu"nu da içeriyor; bu özellik, sokakta yürürken dil pratiği yapmak veya şüpheleri hızlıca gidermek için idealdir.
Ayrıca ChatGPT'nin görüntüleyebilmesi için fotoğraflarınızı doğrudan kameranızdan veya galerinizden de yükleyebilirsiniz. yorumlamak veya yazıya dökmekÖrneğin, el yazısıyla yazılmış bir tarifi yazıya dökmek veya bir gezi sırasında fotoğrafladığınız bir anıt hakkında bilgi istemek gibi.
Elbette, daha klasik kullanımlar da eksik değil: sipariş verme yaratıcı fikirler Doğum günü hediyesi için kişiselleştirilmiş tebrik mesajları oluşturun, detaylı seyahat tavsiyeleri alın, kişisel veya profesyonel projeler planlayın veya her seviyeden insanın anlayabileceği şekilde açıklanan karmaşık soruları çözün.
Profesyonel alanda, bu uygulama oldukça faydalıdır çünkü pazarlama metni oluşturmakİş planlarının ana hatlarını çizmek, resmi bir üslupla e-posta yazmak, sözleşme ve belge taslakları hazırlamak veya tarayıcı sekmeleri arasında geçiş yapmaya gerek kalmadan belirli şüpheleri gidermek gibi amaçlarla kullanılabilir.
Tüm bunların yanı sıra, olağanüstü bir yeteneğe de sahipler. kişiselleştirilmiş öğrenmeÇocuklara bilimsel kavramları ilgi alanlarına yakın örnekler kullanarak açıklamaktan, tarihi bir olayı hızlı ama yapılandırılmış bir şekilde özetlemeye kadar.
Eğer ChatGPT'yi masaüstünde kullanmakla ilgileniyorsanız, OpenAI bir sürüm yayınladı. Windows için yerel uygulama Bu uygulama artık Windows 10 veya üzeri sürüme sahip tüm kullanıcılar için kullanılabilir ve temel sürümü ücretsizdir. Yaklaşık 300 MB yer kaplayan bu uygulama, sistemle sorunsuz bir şekilde entegre olur.
Windows uygulaması modelin önceki bir sürümüyle çalışıyor. OpenAI o1Mantıksal çıkarım ve kalite analizi görevlerine odaklanan bu yazılım, her tür dosyayı işleyip özetleyebilir, karmaşık iş planları oluşturmanıza yardımcı olabilir ve DALL-E motorunu kullanarak özel görüntüler üretebilir; bunların hepsini normal çalışma programlarınızla paralel olarak yapabilirsiniz.
Kurulumu çok basit: Resmi OpenAI web sitesine gidin, Windows yürütülebilir dosyasını indirin, yükleyiciyi çalıştırın ve sihirbazı takip ederek, istendiğinde "Yükle"ye tıklayın. Tamamlandığında, programı açmanız yeterli. OpenAI hesabınızla oturum açınYa da henüz bir profiliniz yoksa Google veya Microsoft hesabınızı kullanarak yeni bir profil oluşturun.
İçeri girdikten sonra, Windows arayüzünde görünen özel düğmeden veya klavye kısayolu aracılığıyla sohbet robotunu başlatabilirsiniz. Alt + BoşlukBöylece diğer programlarla çalışırken soruları aramak, metin oluşturmak veya özet istemek için her zaman elinizin altında olacak.
Ancak Windows uygulamasında hala bazı eksiklikler mevcut. büyük sınırlamalarŞu anda gelişmiş ses modu içermiyor, bazı OpenAI eklenti mağazası entegrasyonları devre dışı bırakılmış durumda ve ücretsiz sürüm tek bir cihazla sınırlı. Ücretli aboneler ise on farklı cihaza kadar kurabilirler.
GPT-OSS ile ChatGPT gibi yerel bir yapay zeka kurmanın faydaları nelerdir?
Eğer bir adım daha ileri gidip ChatGPT'ye çok benzer bir şey elde etmek istiyorsanız, bilgisayarınızda yerel olarak çalışıyorGPT-OSS, en ilgi çekici alternatiflerden biridir. İndirebileceğiniz, çevrimdışı çalıştırabileceğiniz ve ihtiyaçlarınıza göre uyarlayabileceğiniz açık kaynaklı bir dil modelidir.
GPT-OSS ile şunları oluşturabilirsiniz: her tür metinResmi e-postalardan ve sosyal medya gönderilerinden öykülere, şiirlere, senaryolara, uzun belgelerin özetlerine ve karmaşık metinlerin analizlerine kadar her şeyi halledebilir. Esasen, istediğiniz her şey için danışabileceğiniz bir yazma ve düşünme asistanı görevi görür.
Teknik alanlarda da çok başarılı: hazırlıklı kod parçacıklarını açıklayınProgramlama hatalarını tespit etmek, iyileştirmeler önermek, yeni diller öğrenmenize yardımcı olmak, mantık ve matematik alıştırmalarını çözmek veya yaygın yazılım geliştirme sorunlarına çözümler sunmak gibi konularda size yardımcı olabilirler.
Kişisel ve profesyonel verimlilikte GPT-OSS şu amaçlarla kullanışlıdır: proje planlamasıYaratıcı beyin fırtınası, bilgi analizi, taslak oluşturma, görev organizasyonu veya birden fazla bilgi alanındaki soruları yanıtlama. İster öğrenci, ister programcı, öğretmen, içerik üreticisi veya serbest çalışan olun, bunu iş akışınıza uyarlayabilirsiniz.
GPT-OSS'yi yerel olarak çalıştırmanın en büyük avantajlarından biri şudur ki, Gizlilik tamamen sağlanır.Yazdığınız her şey ve modelin ürettiği her şey bilgisayarınızda kalır: konuşmalarınızı kaydeden harici sunucular veya verilerinizin üçüncü bir tarafa sürekli aktarımı söz konusu değildir.
Bu, önemli bir iyileşme anlamına gelir. bilgi güvenliğiHassas belgeler, iş projelerinin taslakları, müşteri verileri veya diğer hassas içeriklerle çalışıyorsanız, başkası tarafından işlenmek üzere buluta herhangi bir şey yüklemediğinizi bilmek size çok daha fazla rahatlık sağlayacaktır.
Ek olarak, GPT-OSS gibi yerel modeller size şunları sağlar: mutlak ekonomik özgürlükChatGPT Plus (ayda yaklaşık 20 dolar) veya Gemini ya da Claude gibi benzer fiyatlara sahip diğer ticari hizmetler gibi aylık ücretlere bağımlı değilsiniz. Şablonu bir kez indiriyorsunuz ve abonelik ücreti ödemeden kullanabiliyorsunuz.
Buna ek olarak, kontrol ve özelleştirme Açık kaynaklı modellerin sunduğu avantajlar şunlardır: parametreleri ayarlayabilir, modelin davranışını değiştirebilir, kendi uygulamalarınıza entegre edebilir, görevleri otomatikleştirebilir ve genel olarak büyük bir teknoloji şirketinin kararlarına bağlı kalmadan modeli kendi zevkinize göre uyarlayabilirsiniz.
Daha az hoş olan kısım ise şudur ki... Performans büyük ölçüde donanımınıza bağlıdır.Özellikle daha büyük modellerde sorunsuz bir deneyim için, iyi bir harici ekran kartı (NVIDIA veya AMD) ve yeterli RAM önerilir. Bilgisayarınız mütevazı ise, model yine de çalışır, ancak daha yavaş yanıt süreleri fark edeceksiniz.
Ayrıca dikkate alınması gereken bir öğrenme süreci de var: yerel bir yapay zeka kurarken, onu kuracak kişi sizsiniz... altyapıyı yönetirGüncellemeler ve ortam güvenliği. Ollama ve LM Studio gibi araçlar sayesinde aşırı karmaşık değil, ancak ChatGPT web sitesini açmaktan biraz daha fazla müdahale gerektiriyor.
Windows'ta GPT-OSS'u ücretsiz olarak yüklemek için gerekenler
Şablonları indirmeye başlamadan önce, bilgisayarınızın gereksinimleri karşılayıp karşılamadığını kontrol etmekte fayda var. GPT-OSS'yi çalıştırmak için minimum gereksinimler Makul koşullar altında. İyi haber şu ki, en hafif model için fiyatlar aşırı yüksek değil.
İşletim sistemi bölümünde, aşağıdakilerin bulunması yeterlidir. Windows 10 veya Windows 11'in 64 bit sürümüYeni bir bilgisayara yapılan herhangi bir modern Windows kurulumu bu kategoriye girer, bu nedenle bilgisayarınız çok eski değilse herhangi bir sorun yaşamamanız gerekir.
RAM en kritik faktörlerden biridir. GPT-OSS:20b varyantı (serinin en hafif modeli) için minimum RAM gereklidir. GB RAM 8Ancak, ideal olarak, yetersiz bellekten kaynaklanan gecikme veya hatalar olmadan sorunsuz bir deneyim için 16 GB'a kadar çıkmalısınız.
Daha güçlü model olan GPT-OSS:120b'ye yükseltmek isterseniz, gereksinimler artar: en azından şunlara ihtiyacınız olacak: GB RAM 16Darboğazlardan kaçınmak ve potansiyelinden tam olarak yararlanmak istiyorsanız 32 GB'lık bir belleğe sahip olmanız şiddetle tavsiye edilir.
İşlemciye gelince, en yeni modele ihtiyacınız yok, ancak çok eski işlemcilerden kaçınmalısınız. Bu tip bir işlemci temel olarak önerilir. 4. nesil Intel Core i5 veya daha iyisi, ya da AMD Ryzen 3 veya daha üstü bir işlemci. Bu özelliklere sahip son birkaç yılda üretilmiş herhangi bir bilgisayar kabul edilebilir bir performans sergilemelidir.
Depolama alanı da hem hız hem de kapasite açısından önemlidir. İdeal olarak, şöyle bir kurulum yapmalısınız: En az 500 GB boş alana sahip SSDBunun nedeni şablonların kendilerinin çok yer kaplaması değil, birden fazla şablon kurup ilgili dosyaları yer sıkıntısı çekmeden yönetebilmenizdir.
Boyut hakkında bir fikir vermek gerekirse: GPT-OSS:20b yaklaşık olarak şu kadar yer kaplar. 13 GBGPT-OSS:120b sürümü ise bu seviyeye ulaşabilir. 70 GBDaha fazla model denemeyi planlıyorsanız, 500 GB'lık ücretsiz depolama alanı son derece mantıklı hale geliyor.
Ancak asıl önemli bileşen GPU'dur. İyi bir grafik kartı, paralel işlemeyi hızlandırdığı için yapay zeka modellerinin performansını önemli ölçüde artırır. Eğer bir tane varsa... NVIDIA GeForce RTX 3060 veya daha yüksek veya AMD Radeon RX 6700 veya daha yüksek bir değer seçerseniz, nispeten büyük modellerde bile çok akıcı bir deneyim yaşayacaksınız.
Ekran kartınız eski ise GPT-OSS'yi yine de kullanabilirsiniz, ancak önerilen aralıklara kıyasla performans düşüşü fark edeceksiniz. Özel bir GPU olmadan, yalnızca CPU kullanarak da çalıştırabilirsiniz, ancak yanıt süreleri daha yavaş olacak ve her şey önemli ölçüde daha yavaş çalışacaktır.
Entegre GPU'lu bilgisayarlarda bu yardımcı olabilir, ancak hiçbir zaman özel bir grafik kartının seviyesine ulaşamaz. Her durumda, model başlatılıp çalıştırılabilir; ancak modelin boyutunu veya içeriğini artırdığınızda sonuç üretmesi daha uzun sürecektir.
Son bir şart da şudur: Modelin indirildiği sırada internet bağlantısıBundan sonra artık ona ihtiyacınız kalmayacak: GPT-OSS'yi diskinize yükledikten sonra, tamamen çevrimdışı olarak kullanabilirsiniz; bu da özellikle gizlilik konusunda endişeliyseniz veya sürekli ağ erişiminin olmadığı ortamlarda çalışıyorsanız idealdir.
GPT-OSS'yi Ollama ile adım adım derleyin
GPT-OSS'u bilgisayarınızda rahatça kullanabilmek için, şu işlevi gören bir uygulamaya ihtiyacınız var: modelin "başlatıcısı"Yani, onu indiren, belleğe yükleyen ve basit bir arayüz aracılığıyla onunla sohbet etmenizi sağlayan bir program. En çok önerilenlerden biri Ollama'dır.
Ollama, sunduğu özellikler sayesinde öne çıkıyor. grafik yükleyici Çok iyi düşünülmüş, neredeyse her kullanıcının komut satırına, komut dosyalarına veya karmaşık yapılandırmalara dokunmadan yerel yapay zeka modellerini çalıştırabilmesi için tasarlanmış.
İlk adım, yasal dosyayı edinmenin tek güvenilir yeri olan resmi Ollama indirme web sitesine gitmektir. Oradan, genellikle "Windows yürütülebilir dosyası" olarak adlandırılan dosyayı indirirsiniz. OllamaSetup.exeKurulum için kullanacağınız dosya budur.
Yükleyiciyi çalıştırmadan önce, bilgisayarınızın Ollama for Windows için temel gereksinimleri karşıladığından emin olun: 64 bit Windows 10 veya 11 işletim sistemi, minimum GB RAM 8 ve en az dört çekirdekli bir x86 işlemci (örneğin, dördüncü nesil Intel Core i5/i7 veya AMD Ryzen 3/5/7).
GPU'ya gelince, çok hafif modeller için kesinlikle gerekli değil, ancak ayrı bir ekran kartına sahip olmak bir avantaj. NVIDIA veya AMD Özellikle GPT-OSS:20b veya daha büyük boyutlu modellerle çalışırken hızda önemli bir fark yaratacaktır.
Dosyayı indirdikten ve gereksinimleri doğruladıktan sonra, OllamaSetup.exe dosyasını çalıştırın ve diğer herhangi bir Windows programında olduğu gibi kurulum sihirbazının adımlarını izleyin. Kurulum programı her şeyi halledecek ve ek bir yapılandırma gerektirmeden kurulumu tamamlayacaktır.
Ollama uygulamasını ilk açtığınızda, logonun altında ortada bir kutu bulunan çok basit bir arayüz göreceksiniz; seçenek bu kutuda yer almaktadır. “Bir model seçin”Oradan hangi şablonu indirip kullanmak istediğinizi seçeceksiniz.
“Bir model seçin” seçeneğine tıkladığınızda, yerel olarak veya bulutta çalıştırılabilecek farklı modellerin bir listesi görüntülenir. Bunlar arasında şu seçenekleri göreceksiniz: “gpt-oss:20b” y “gpt-oss:120b”Bizi ilgilendiren varyantlar bunlar.
Unutmayın ki GPT-OSS:20b en hafif ve donanım açısından en az talepkar olanıdır, GPT-OSS:120b ise önemli ölçüde daha fazla yer kaplar ve daha fazla kaynak gerektirir, ancak daha yüksek kapasite sunar. Tercih ettiğinizi seçin ve indirme işleminin tamamlanmasını bekleyin; süre, bağlantınıza bağlı olarak birkaç saniyeden birkaç dakikaya kadar değişebilir.
Model arayüzde seçili olarak göründüğünde, yapmanız gereken tek şey Metin kutusuna istediğiniz mesajı yazın. ve Ollama'nın modeli indirmeye (henüz başlamadıysa) ve belleğe yüklemeye başlayabilmesi için gönderin. Bu işlem tamamlandığında, harici sunuculara bağlı kalmadan doğrudan bilgisayarınızda çalışan ChatGPT benzeri bir asistanınız olacak.
LM Studio ile GPT-OSS: Yerel "ChatGPT"nizi kurmanın başka bir yolu
Daha fazla görsel ayar seçeneği sunan, daha modern bir arayüzü tercih ediyorsanız, LM Studio tam size göre. Ollama'ya çok ilginç bir alternatif. GPT-OSS ve diğer dil modellerini Windows üzerinde yerel olarak çalıştırmak.
LM Studio, bir model "lansman platformu" ile aynı rolü üstleniyor ancak tasarım ve kişiselleştirme seçeneklerine özel önem vererek, daha çok bir deneyim sunuyor. Tarayıcıda ChatGPTKomut satırı görmek istemeyen kullanıcılar için son derece açık ve erişilebilir bir grafik arayüzü sunar.
Gereksinimlere gelince, Windows sürümü için 64 bit işlemci gereklidir. AVX2 desteğiBu, neredeyse her modern işlemcinin halledebileceği bir şey. Bellek için, 7-8B modeller için 16 GB RAM öneriyorlar, ancak daha küçük modellerde (3-4B) 8 GB ile başlayıp bağlamların uzunluğunu sınırlayabilirsiniz.
GPU yine isteğe bağlıdır ancak metin oluşturmayı hızlandırmak ve bilgisayarınızı yavaşlatmadan büyük modellerle çalışmak istiyorsanız şiddetle tavsiye edilir. Depolama alanına gelince, her model 2 ile 20 GB arasında yer kaplar, ancak GPT-OSS:20b en zorlu sürümlerinde 70 GB'a kadar ulaşabilir, bu nedenle en azından yeterli alan ayırmanız önerilir. 100 GB boş alan Birden fazla modelin kurulumunu istiyorsanız.
LM Studio'yu indirmek için resmi web sitesine gidin ve indirme bölümüne giderek Windows sürümünü seçin. Kurulum dosyasının boyutu genellikle [boyut belirtilmemiş] civarındadır. 516 MB.exe dosyasını indirdikten sonra çalıştırın, kurulum klasörünü seçin (programın kendisi için yaklaşık 1,7 GB gereklidir) ve "Yükle"ye tıklayın.
LM Studio'yu ilk kez açtığınızda, kullanıma hazır ana arayüzünü göreceksiniz. Sol kenar çubuğunda birkaç simge bulunur; başlangıçta ilgilendiğimiz simge ise şudur: mor büyüteçBu bağlantı sizi indirilebilir modellerin bulunduğu gezgin sayfasına götürür.
Bu bölümde, LM Studio'nun yerel olarak çalıştırmanıza izin verdiği tüm modellerin bir listesi görüntülenir. Birçok seçenek bulacaksınız, ancak bu kılavuzun kapsamı dahilinde kalmak için şunlara odaklanacağız: GPT-OSS:20b Test edilecek ana model olarak.
Listede GPT-OSS:20b'yi bulduğunuzda düğmeye basın. “Yükleme”Bundan sonra tek yapmanız gereken indirme işleminin tamamlanmasını beklemek; süre, bağlantı hızınıza ve seçtiğiniz model sürümünün boyutuna bağlı olacaktır.
İndirdikten sonra sol kenar çubuğuna geri dönün ve sarı simgeyi seçin. "Sohbetler"Sohbetler bölümü açılacak ve orta panelde sohbet için hangi modeli yüklemek istediğinizi seçebileceğiniz bir seçici göreceksiniz.
GPT-OSS:20b'yi seçtiğinizde, LM Studio, sohbeti açmadan önce birkaç önemli parametreyi ayarlayabileceğiniz bir ön yapılandırma ekranı gösterecektir. Bunlar arasında şunlar yer alır... bağlam uzunluğu Performans sorunlarından kaçınmak için iyice anlamanız gereken GPU yükünü azaltma seçeneği de mevcut.
Bağlamın uzunluğu kaç tane olduğunu belirler. Tokenlar modeli "hatırlayabilir". Belirli bir konuşma veya görev içinde. Kaydırıcıyı sağa doğru hareket ettirirseniz, maksimum değeri artırırsınız ve model daha uzun konuşma dizilerini veya daha büyük belgeleri işleyebilir, ancak daha fazla RAM ve GPU kullanıyorsanız daha fazla VRAM tüketirsiniz.
8-12 GB VRAM'e sahip veya sınırlı RAM'e sahip sistemlerde bağlamı artırma konusunda aşırıya kaçarsanız, hatalarla, ara belleğe alma sorunlarıyla veya yanıt süresinde önemli bir düşüşle karşılaşabilirsiniz. İdeal olarak, bağlamı kademeli olarak artırmalı ve sistemin kararlılığını sağlamak için sistemi izlemelisiniz.
“GPU'ya yük aktarma” seçeneği şunlara olanak tanır: Modelin çalışmasının bir kısmını grafik kartına aktarın.Bu düzenleme, birçok işlemi paralel olarak işleme yeteneğinden yararlanarak, özellikle 7B-20B ve sonraki modellerde token üretimini büyük ölçüde hızlandırır, ancak aynı zamanda VRAM kullanımını da artırır.
GPU'ya, belleğinin kaldırabileceğinden daha fazla katman ayırırsanız, performansta ciddi düşüşler veya modelin hiç yüklenmemesi gibi sorunlarla karşılaşabilirsiniz. Yine de, mantıklı yaklaşım, hız ve kararlılık arasında dengeyi bulana kadar bu yüzdelik oranı kademeli olarak artırmaktır.
Bu parametreleri istediğiniz gibi ayarladıktan sonra, tek yapmanız gereken tıklamak. “Yük modeli”Bu aşamada, web üzerindeki ChatGPT'ye çok benzeyen bir sohbet penceresi açılacak ve burada sorularınızı veya talimatlarınızı yazmaya başlayabilirsiniz.
Üretim süreci boyunca LM Studio, aşağıdakilerin nasıl gerçekleştiğini gösterir: "Düşünme" modeli ve gerektirdiği eylemlerEğer perde arkasında neler olup bittiğini merak ediyorsanız, bu oldukça ilgi çekici. Bu "düşünme" döneminden sonra, modelin istediğiniz metni içeren yanıtını alacaksınız.
LM Studio ile, tıpkı Ollama'da olduğu gibi, tüm GPT-OSS işlemleri tamamlanır. kendi bilgisayarınızın içindeUzak bir sunucuya bağlanmanıza gerek kalmadan. Bu, verileriniz üzerinde tam kontrol sahibi olmanızı sağlar ve şablonları önceden indirmiş olmanız koşuluyla internet bağlantısı olmadan bile çalışmanıza olanak tanır.
Kısacası, bugün tek bir euro ödemeden ChatGPT'ye çok benzer bir şey kurmak tamamen mümkün: şunları birleştirebilirsiniz: Windows ve Android için resmi ücretsiz ChatGPT uygulaması Bulutun maksimum gücüne ihtiyaç duyduğunuzda, yerel bir model gibi Ollama veya LM Studio'da GPT-OSS Gizlilik, kontrol ve kişiselleştirmenin son derece önemli olduğu görevler için. Bir yolu veya diğerini ya da her ikisini birden seçme kararınız, donanımınıza, teknik bilgi seviyenize ve yapay zeka ile yaptığınız görüşmelerin cihazınızdan asla ayrılmamasının sizin için ne kadar önemli olduğuna bağlı olacaktır.
Genel olarak bayt ve teknoloji dünyası hakkında tutkulu bir yazar. Bilgilerimi yazarak paylaşmayı seviyorum ve bu blogda da bunu yapacağım; size gadget'lar, yazılım, donanım, teknolojik trendler ve daha fazlasıyla ilgili en ilginç şeyleri göstereceğim. Amacım dijital dünyada basit ve eğlenceli bir şekilde gezinmenize yardımcı olmaktır.