Навлизането в света на локалния изкуствен интелект може да изглежда като обезсърчителна задача в началото, но реалността е, че сме в златна ера. Вече не е необходим център за данни в мазето, за да извършвате моделни изводи ; днес, с добре конфигуриран екип, можете да имате свой собствен личен асистент, който не зависи от облака или месечните абонаменти.
Когато говорим за локално изпълнение на модели, ние основно имаме предвид фазата на извод , която е фазата на обучение на модел, за да ни даде отговор. За разлика от обучението, което е монументална задача, изискваща хиляди графични процесори, изводът е много по-управляем и точно тук чиповете на Apple оказват силно влияние благодарение на ефективното си управление на захранването и иновативната си архитектура.
Тайната на успеха: Унифицирана памет
Ако има нещо, което отличава Mac компютрите, това е унифицираната архитектура на паметта (UMA) . На традиционния компютър трябва да преместите данни от системната RAM памет към VRAM паметта на графичната карта и точно там се губи ценно време. С M4, M3 Ultra и подобни чипове, процесорът и графичният процесор черпят от един и същ пул памет, което драстично намалява латентността при обработка на тензори.
Това е жизненоважно, когато искаме да заредим средни или големи LLM (Large Language Models). Например, Mac Studio с голямо количество RAM може да побере модели, които в света на персоналните компютри биха изисквали няколко NVIDIA A6000 карти , което води до огромни икономии на разходи и най-вече на сметката за ток, тъй като консумацията е малка част от това, което би използвала геймърска кула.
Квантиране и формати: Как да настроим модела
За да предотвратим срив на машината ви от модел със 70 трилиона параметъра, използваме квантуване . По същество това включва намаляване на точността на числата (преминаване от FP32 към INT8 или дори 4 бита), което свива модела и ускорява отговора, без да го прави „глупав“ или да губи кохерентност.
- ГГУФ: Това е предпочитаният формат за тези, които използват процесор или комбинация от процесор и графичен процесор. Това е един файл, съдържащ всичко необходимо и е стандартът за call.cpp.
- GPTQ: Проектиран специално за летене на графични процесори, оптимизирайки скоростта на обработка.
- Сейфтензори: Много по-безопасен вариант от традиционните .bin файлове, тъй като предотвратява изпълнението на зловреден код при зареждане на модела.
Основни инструменти за настройване на вашата среда
Ако не искате да се затруднявате с терминала от самото начало, има няколко много лесни опции. LM Studio е може би най-лесният за ползване инструмент: това е цялостно решение с графичен интерфейс, което ви позволява да стартирате AI модели локално с едно щракване. Можете дори да настроите локален OpenAI-съвместим API сървър, за да интегрирате AI в собствените си приложения.
От друга страна, имаме Ollama , перлата в короната за тези, които предпочитат нещо по-леко или базирано на команден ред. Той е с отворен код и се интегрира безпроблемно с Open WebUI , което ви позволява да имате интерфейс, идентичен с ChatGPT, но работещ изцяло на вашия хардуер. Предлага се и кратко ръководство за стартиране на локални LLM с Ollama . За тези, които търсят максимална производителност на macOS, рамката MLX на Apple е оптимизираната опция, за да извлекат максимума от силиция на компанията.
Хардуерна дилема: Преносимост или сурова мощност?
Много изследователи и разработчици са разкъсвани между два пътя. Първият вариант е да се включат изцяло с MacBook Pro M4 Max с много памет (например 128GB). Предимството е бързата итерация : можете да сте в кафене или в самолет и да тествате RAG (Recovery Augmented Generation) конвейер, без да разчитате на отдалечена връзка.
Алтернативата е комбинация от Mac Studio и лек лаптоп. Studio е термозвяр; можете да го оставите да работи с дълги задачи с часове, без вентилаторът да звучи като излитащ реактивен двигател. Това обаче въвежда трудностите при отдалечен достъп , изискващи синхронизиране на среди и данни между две различни машини, което може да наруши творческия ви поток.
Случаи на употреба и ограничения в реалния свят
С Mac Mini M4 или добре оборудван MacBook Pro можете да настроите RAG системи с векторни бази данни като ChromaDB или Qdrant, да създадете локални асистенти за код с Aider или автоматично да транскрибирате видеоклипове, използвайки локален изкуствен интелект за извличане на характеристики. Идеално е за прототипиране и оценка на поведението на квантовани модели с между 7 милиарда и 70 милиарда параметъра.
Не очаквайте чудеса обаче. Интензивното обучение на модели или сложната фина настройка не са силните страни на тези машини. Ако вашият работен процес разчита в голяма степен на екосистемите на NVIDIA CUDA , ще срещнете някои препятствия, тъй като Metal (API на Apple) не е безпроблемен заместител, въпреки че разликата е намаляла значително по отношение на изводите.
Страстен писател за света на байтовете и технологиите като цяло. Обичам да споделям знанията си чрез писане и това е, което ще направя в този блог, ще ви покажа всички най-интересни неща за джаджи, софтуер, хардуер, технологични тенденции и много други. Моята цел е да ви помогна да се ориентирате в дигиталния свят по лесен и забавен начин.