Wejście w świat lokalnej sztucznej inteligencji może początkowo wydawać się zniechęcającym zadaniem, ale rzeczywistość jest taka, że żyjemy w złotej erze. Nie potrzebujesz już centrum danych w piwnicy, aby przeprowadzać wnioskowanie na podstawie modeli ; dziś, dzięki dobrze skonfigurowanemu zespołowi, możesz mieć własnego, prywatnego asystenta, niezależnego od chmury ani miesięcznych abonamentów.
Mówiąc o lokalnym uruchamianiu modeli, mamy na myśli fazę wnioskowania , czyli moment, w którym wytrenowany model przetwarza nowe dane, aby udzielić odpowiedzi. W przeciwieństwie do trenowania, które jest monumentalnym zadaniem wymagającym tysięcy procesorów graficznych, wnioskowanie jest znacznie łatwiejsze w zarządzaniu i właśnie w tym obszarze układy Apple odgrywają znaczącą rolę dzięki wydajnemu zarządzaniu energią i innowacyjnej architekturze.
Sekret sukcesu: Zjednoczona Pamięć
Jeśli jest coś, co wyróżnia komputery Mac, to jest to architektura UMA (Unified Memory Architecture) . W tradycyjnym komputerze PC dane muszą być przenoszone z pamięci RAM systemu do pamięci VRAM karty graficznej, a to właśnie tam marnuje się cenny czas. W układach M4, M3 Ultra i podobnych, procesor i karta graficzna korzystają z tej samej puli pamięci, co drastycznie zmniejsza opóźnienia podczas obsługi tensorów.
Jest to kluczowe, gdy chcemy załadować średnie lub duże modele LLM (Large Language Models). Na przykład, komputer Mac Studio z dużą ilością pamięci RAM może obsłużyć modele, które w świecie komputerów PC wymagałyby kilku kart NVIDIA A6000 , co przekłada się na ogromne oszczędności kosztów, a przede wszystkim na rachunku za prąd, ponieważ zużycie energii stanowi ułamek tego, co zużywałaby obudowa gamingowa.
Kwantyzacja i formaty: Jak dopasować model
Aby zapobiec awarii komputera z modelem o 70 bilionach parametrów, stosujemy kwantyzację . Zasadniczo polega ona na zmniejszeniu precyzji liczb (z FP32 do INT8 lub nawet 4 bitów), co zmniejsza model i przyspiesza odpowiedź, nie czyniąc go „głupim” ani nie powodując utraty spójności.
- GGUF: To preferowany format dla użytkowników korzystających z procesora CPU lub kombinacji procesora CPU i GPU. To pojedynczy plik zawierający wszystko, co potrzebne, i jest standardem. lama.cpp.
- GPTQ: Zaprojektowano specjalnie do lotów na procesorach GPU, optymalizując prędkość przetwarzania.
- Safetensory: Znacznie bezpieczniejsza opcja niż tradycyjne pliki .bin, ponieważ zapobiega wykonywaniu złośliwego kodu podczas ładowania modelu.
Niezbędne narzędzia do konfiguracji środowiska
Jeśli nie chcesz od razu męczyć się z terminalem, istnieje kilka bardzo prostych opcji. LM Studio to prawdopodobnie najbardziej przyjazne dla użytkownika narzędzie: to kompleksowe rozwiązanie z graficznym interfejsem, które pozwala lokalnie uruchamiać modele AI i uruchamiać je jednym kliknięciem. Możesz nawet skonfigurować lokalny serwer API zgodny z OpenAI, aby zintegrować AI z własnymi aplikacjami.
Z drugiej strony mamy Ollamę , perełkę dla tych, którzy preferują coś lżejszego lub opartego na wierszu poleceń. Jest to oprogramowanie open source i bezproblemowo integruje się z Open WebUI , umożliwiając korzystanie z interfejsu identycznego z ChatGPT, ale działającego w całości na sprzęcie. Dostępny jest również krótki przewodnik po uruchamianiu lokalnych aplikacji LLM za pomocą Ollama . Dla tych, którzy szukają maksymalnej wydajności w systemie macOS, framework MLX firmy Apple to zoptymalizowana opcja, pozwalająca w pełni wykorzystać możliwości procesorów tej firmy.
Dylemat sprzętowy: przenośność czy potężna moc?
Wielu badaczy i programistów waha się między dwoma rozwiązaniami. Pierwsza opcja to pójście na całość z MacBookiem Pro M4 Max z dużą ilością pamięci (np. 128 GB). Zaletą jest szybka iteracja : można testować RAG (Recovery Augmented Generation) w kawiarni lub samolocie, nie polegając na zdalnym połączeniu.
Alternatywą jest połączenie Maca Studio i lekkiego laptopa. Studio to termiczna bestia; można go pozostawić włączonego przez wiele godzin, a wentylator nie będzie brzmiał jak startujący silnik odrzutowy. Wiąże się to jednak z utrudnieniami związanymi ze zdalnym dostępem , wymagającymi synchronizacji środowisk i danych między dwoma różnymi maszynami, co może zakłócić Twój kreatywny przepływ.
Przykłady zastosowań i ograniczenia w świecie rzeczywistym
Za pomocą komputera Mac Mini M4 lub dobrze wyposażonego MacBooka Pro można skonfigurować systemy RAG z wektorowymi bazami danych, takimi jak ChromaDB lub Qdrant, tworzyć lokalne asystenty kodu za pomocą Aidera lub automatycznie transkrybować filmy z wykorzystaniem lokalnej sztucznej inteligencji w celu wyodrębnienia cech. To idealne rozwiązanie do prototypowania i oceny zachowania skwantyzowanych modeli o liczbie parametrów od 7 do 70 miliardów.
Nie należy jednak oczekiwać cudów. Intensywne trenowanie modeli i skomplikowane dostrajanie nie są mocną stroną tych maszyn. Jeśli Twój tok pracy w dużym stopniu opiera się na ekosystemach NVIDIA CUDA , napotkasz pewne trudności, ponieważ Metal (API firmy Apple) nie jest bezproblemowym zamiennikiem, chociaż luka w wnioskowaniu znacznie się zmniejszyła.
Pisarz z pasją zajmujący się światem bajtów i technologii w ogóle. Uwielbiam dzielić się swoją wiedzą poprzez pisanie i właśnie to będę robić na tym blogu, pokazywać Ci wszystkie najciekawsze rzeczy o gadżetach, oprogramowaniu, sprzęcie, trendach technologicznych i nie tylko. Moim celem jest pomóc Ci poruszać się po cyfrowym świecie w prosty i zabawny sposób.