Спочатку входження у світ локального штучного інтелекту може здатися складним завданням, але реальність така, що ми живемо в золоту добу. Вам більше не потрібен центр обробки даних у підвалі, щоб виконувати виведення моделей ; сьогодні, маючи добре налаштовану команду, ви можете мати власного особистого помічника, який не залежить від хмари чи щомісячних підписок.
Коли ми говоримо про локальний запуск моделей, ми, по суті, маємо на увазі фазу логічного висновку , коли навчена модель обробляє нові дані, щоб надати нам відповідь. На відміну від навчання, яке є монументальним завданням, що вимагає тисяч графічних процесорів, логічний висновок набагато легший у керуванні, і саме тут чіпи Apple мають сильний вплив завдяки ефективному управлінню живленням та інноваційній архітектурі.
Секрет успіху: Уніфікована пам'ять
Якщо й є щось, що відрізняє Mac, то це уніфікована архітектура пам'яті (UMA) . На традиційному ПК доводиться переміщувати дані з системної оперативної пам'яті до відеопам'яті відеокарти, і саме тут втрачається дорогоцінний час. У M4, M3 Ultra та подібних чіпах центральний і графічний процесори використовують один і той самий пул пам'яті, що значно зменшує затримку під час обробки тензорів.
Це життєво важливо, коли нам потрібно завантажити середні або великі LLM (моделі великих мов програмування). Наприклад, Mac Studio з великим обсягом оперативної пам'яті може вмістити моделі, для яких у світі ПК знадобилося б кілька відеокарт NVIDIA A6000 , що призводить до величезної економії коштів і, перш за все, на рахунках за електроенергію, оскільки споживання становить лише частину того, що використовує ігровий вежа.
Квантування та формати: Як зробити модель відповідною
Щоб запобігти збою вашої машини моделлю з 70 трильйонами параметрів, ми використовуємо квантування . По суті, це передбачає зменшення точності чисел (з FP32 до INT8 або навіть 4 бітів), що стискає модель і пришвидшує її роботу, не роблячи її "глухою" та не втрачаючи когерентності.
- ГГУФ: Це бажаний формат для тих, хто використовує центральний процесор або їх комбінацію та графічний процесор. Це один файл, що містить усе необхідне, і він є стандартом для call.cpp.
- GPTQ: Розроблено спеціально для польотів на графічних процесорах, оптимізуючи швидкість обробки.
- Сейфензори: Набагато безпечніший варіант, ніж традиційні файли .bin, оскільки запобігає виконанню шкідливого коду під час завантаження моделі.
Необхідні інструменти для налаштування вашого середовища
Якщо ви не хочете з самого початку морочитися з терміналом, є кілька дуже простих варіантів. LM Studio , мабуть, найзручніший інструмент: це універсальне рішення з графічним інтерфейсом, яке дозволяє запускати моделі ШІ локально та запускати їх одним клацанням миші. Ви навіть можете налаштувати локальний сервер API, сумісний з OpenAI, для інтеграції ШІ у власні програми.
З іншого боку, у нас є Ollama – перлина в короні для тих, хто віддає перевагу чомусь легшому або командному рядку. Він має відкритий вихідний код і легко інтегрується з Open WebUI , що дозволяє вам мати інтерфейс, ідентичний ChatGPT, але повністю працює на вашому обладнанні. Також доступний короткий посібник із запуску локальних LLM за допомогою Ollama . Для тих, хто шукає максимальної продуктивності на macOS, фреймворк MLX від Apple – це оптимізований варіант, щоб отримати максимальну віддачу від кремнію компанії.
Дилема обладнання: портативність чи потужність?
Багато дослідників та розробників розриваються між двома шляхами. Перший варіант — повністю вкластися в MacBook Pro M4 Max з великою кількістю пам'яті (наприклад, 128 ГБ). Перевагою є швидка ітерація : ви можете бути в кав'ярні або в літаку, тестуючи конвеєр RAG (Recovery Augmented Generation), не покладаючись на віддалене з'єднання.
Альтернативою є комбінація Mac Studio та легкого ноутбука. Studio — це потужний термозвір; ви можете годинами запускати довгі обчислення, і вентилятор не буде звучати, як реактивний двигун, що злітає. Однак це створює труднощі, пов'язані з віддаленим доступом , що вимагає синхронізації середовищ і даних між двома різними комп'ютерами, що може порушити ваш творчий процес.
Реальні варіанти використання та обмеження
За допомогою Mac Mini M4 або добре оснащеного MacBook Pro ви можете налаштувати RAG-системи з векторними базами даних, такими як ChromaDB або Qdrant, створювати локальні помічники коду за допомогою Aider або автоматично транскрибувати відео за допомогою локального штучного інтелекту для вилучення ознак. Це ідеально підходить для створення прототипів та оцінки поведінки квантованих моделей з кількістю параметрів від 7 до 70 мільярдів.
Однак, не чекайте чудес. Інтенсивне навчання моделей або складне точне налаштування — не сильні сторони цих машин. Якщо ваш робочий процес значною мірою залежить від екосистем NVIDIA CUDA , ви зіткнетеся з деякими перешкодами, оскільки Metal (API від Apple) не є безперебійною заміною, хоча розрив у сфері логічного виводу значно зменшився.
Пристрасний письменник про світ байтів і технологій загалом. Я люблю ділитися своїми знаннями, пишучи, і саме це я буду робити в цьому блозі, показуватиму вам все найцікавіше про гаджети, програмне забезпечення, апаратне забезпечення, технологічні тренди тощо. Моя мета — допомогти вам орієнтуватися в цифровому світі в простий і цікавий спосіб.