Короткий посібник із запуску локальних LLM за допомогою Ollama Desktop

Ще кілька років тому налаштування мовної моделі на власному комп'ютері було чимось, що могли зробити лише лабораторії та команди з фермами графічних процесорів. Сьогодні, маючи пристойний ноутбук або настільний комп'ютер із прийнятною графічною процесором, ви можете запустити Llama, Mistral, Gemma або Qwen на своєму комп'ютері, не надсилаючи жодного токена в хмару. У цьому посібнику ми безпосередньо та без зайвих клопотів побачимо, як налаштувати практичне середовище за лічені хвилини за допомогою Llama Desktop та інших ключових інструментів для роботи з локальними LLM.

Мета полягає в тому, щоб до кінця цього посібника ви змогли встановлювати, налаштовувати та використовувати локальні моделі для таких завдань, як чат, програмування, аналіз документів або інтеграція у власні програми. Все це буде зроблено з акцентом на конфіденційність, вартість та контроль, використовуючи максимально зрозумілу мову — без складної математики, але з поясненням основних концепцій.

Навіщо запускати локальні LLM на власній машині?

Логічне питання: якщо ChatGPT, Claude та інші вже існують, навіщо взагалі створювати локальні LLM? Це не просто технічна примха; для цього є дуже серйозні причини, особливо коли йдеться про компанії чи конфіденційні дані.

Перш за все, це конфіденційність та дотримання нормативних вимог . Якщо ви працюєте з медичними записами, контрактами, фінансовою інформацією, власницьким кодом або внутрішніми документами, надсилання цього контексту до зовнішнього API може бути неприйнятним. У регульованих секторах (охорона здоров'я, банківська справа, уряд) це часто повністю заборонено. Завдяки внутрішньому LLM вся обробка виконується в межах вашого периметра безпеки.

Ще однією переконливою причиною є затримка та вартість масштабування . Поки ви тестуєте кілька речей у прототипі, вартість одного токена може здаватися невеликою; але коли ви переходите до конвеєрів з тисячами документів або агентів, які постійно викликають API, витрати стрімко зростають. Локальна машина зі зношеним графічним процесором може обробляти мільйони токенів без суттєвого збільшення ваших рахунків за хмару.

Третій стовп — це повний контроль над моделлю . Запускаючи модель локально, ви можете вибирати квантування, точно налаштовувати параметри виводу, налаштовувати системні запити, створювати RAG з власними індексами, інтегруватися з внутрішніми інструментами без обмежень швидкості та навіть працювати офлайн. Ви не залежите від постачальника, який змінює політики, ціни чи функції за одну ніч.

З недоліків важливо розуміти, що моделі, які підходять для споживчого обладнання, все ще поступаються, з точки зору складної обробки, великим передовим моделям, які виконують десятки або сотні мільярдів параметрів на виділеній інфраструктурі. Вони більш ніж достатні для багатьох повсякденних завдань, але якщо ви шукаєте абсолютний максимум потужності в кожному бенчмарку, хмара залишатиметься еталоном.

Що таке ступінь магістра права (LLM) і чому архітектура має значення?

Перш ніж зануритися в Ollama Desktop, варто швидко розглянути, що таке LLM та як вона працює «під капотом». Модель великої мови (LLM) – це нейронна мережа, навчена на величезних обсягах тексту (а іноді також зображень, коду, аудіо тощо) за допомогою самокерованого машинного навчання. Вона вивчає статистичні закономірності в мові, щоб передбачити наступне слово, враховуючи послідовність та її контекст.

Більшість сучасних LLM використовують архітектуру Transformer . Ця архітектура перетворює слова на числові вектори (вбудовування), обчислює, як вони пов'язані один з одним, використовуючи механізми уваги, а потім генерує наступне слово з розподілом ймовірностей. З кожним кроком вона додає новий токен до контексту та повторює процес ітеративно, доки відповідь не буде завершена.

Класичний трансформатор має два основні компоненти: кодер , який «розуміє» вхідний текст, генеруючи контекстуалізовані вбудовування, та декодер , який генерує вихідний текст слово за словом з цих вбудовування та попередньої інформації. Багато сучасних LLM використовують варіанти лише з декодером, спеціально оптимізовані для завдань генерації.

На практиці це означає, що модель призначає ймовірності кожному можливому токену на кожному кроці. Використовуючи такі параметри, як температура, top-p або top-k, ми можемо зробити генерацію більш креативною або більш консервативною. Ці циферблати дуже поширені як у графічних інтерфейсах, таких як LM Studio або Jan, так і в API, таких як Ollama.

Ще однією ключовою концепцією є вбудовування . Кожне слово (а точніше, кожен токен) представлено як вектор у багатовимірному просторі. Таке представлення дозволяє використовувати семантичний пошук, кластеризацію, RAG та інші передові методи пошуку інформації. Багато локальних стеків поєднують генеративний LLM з моделлю вбудовування, щоб запропонувати досвід "спілкування з вашими документами".

Квантування: як вписати великі моделі у звичайні машини

Коли ми переносимо ці моделі в реальний світ, першою перешкодою зазвичай є розмір. 16- або 32-бітна модель з плаваючою комою може бути абсолютно нездійсненною для домашнього ПК. Саме тут і приходить на допомогу квантування : зменшення числової точності вагових коефіцієнтів (наприклад, з 16 бітів до 4 або 8 бітів) в обмін на незначну втрату якості.

На практиці квантування безпосередньо впливає на вбудовування та всі внутрішні шари моделі. Завдяки використанню більш компактних представлень зменшується розмір файлу моделі, і, перш за все, зменшується обсяг оперативної або відеопам'яті, необхідної для її запуску. Це, у свою чергу, дозволяє моделям з більшою кількістю параметрів працювати на одному обладнанні та пришвидшує логічний висновок.

Сімейства квантування, такі як Q4_K_M або Q5_K_M, зазвичай досягають балансу між розміром та якістю: падіння продуктивності в міркуваннях є помірним, тоді як економія пам'яті величезна. З іншого боку, Q2 та Q3 стискаються набагато більше, але, як правило, значно знижують продуктивність у складних завданнях, тоді як Q8 або fp16 майже не втрачають якості порівняно з повною моделлю, але ціною потреби в значно більших ресурсах.

Існують опубліковані бенчмарки, де, наприклад, порівнюється модель параметрів 7B у різних квантуваннях: це показує, як складність (метрика якості прогнозування: чим нижче, тим краще) трохи погіршується при переході від FP16 до Q4, але натомість розмір диска та час на токен різко зменшуються, як на CPU, так і на GPU.

Квантування є критично важливим у середовищах з обмеженими ресурсами: мобільні пристрої, Інтернет речей, дрони, автономні транспортні засоби … а також на настільних комп’ютерах з 8 або 16 ГБ оперативної пам’яті. Завдяки квантуванні ви можете запускати Llama, Gemma або Mistral на машині, яка в необробленому вигляді навіть не змогла б завантажити оригінальну модель.

Вимоги до обладнання для локальних LLM

Давайте перейдемо до суті: що потрібно, щоб усе пройшло гладко ? Теорія — це добре, але якщо моделі потрібно 20 секунд, щоб написати речення, ви будете використовувати її два дні і забудете про неї.

Найважливішим ресурсом зазвичай є пам'ять . Загальне правило для популярних квантованих моделей таке: з 8 ГБ оперативної пам'яті можна використовувати менші моделі (1 Б, 3 Б, 7 Б), якщо зручності буде достатньо; з 16 ГБ можна комфортно використовувати 7 Б та 13 Б; з 32 ГБ або більше можна прагнути до 30 Б, 40 Б і навіть 70 Б у дуже точно налаштованих конфігураціях або з гарною підтримкою графічного процесора.

Графічний процесор має вирішальне значення для швидкості. Якщо вся модель поміщається у відеопам'ять, графічний процесор перевершує центральний процесор. З 12 ГБ відеопам'яті (наприклад, RTX 4070) ви можете запускати моделі до 14 мільярдів у четвертому кварталі без розвантаження, і навіть досягти 4 мільярдів з частиною моделі в оперативній пам'яті, погоджуючись на падіння продуктивності. З 24 ГБ відеопам'яті (RTX 4090, 4080 Super тощо) ви входите в серйозну територію для комфортного запуску 34 мільярдів моделей та дещо ризикованіших варіантів з 70 мільярдами.

В архітектурах, таких як Apple Silicon , де пам'ять уніфікована, квантовані модулі пам'яті обсягом до ~30 Б можуть працювати лише на процесорі з більш ніж пристойною продуктивністю, без вузьких місць у передачі даних між процесором та графічним процесором. Це також можливо на ПК без виділеного графічного процесора, але вам потрібно вибрати правильний розмір і бути терплячим.

Не забувайте про сховище : програми Ollama, LM Studio або Jan не займають багато місця, але самі моделі займають. Для довідки, мала квантована модель може використовувати близько 2 ГБ, середня — 5 ГБ, велика — 40 ГБ, а дуже великі можуть сягати 200 ГБ або більше. Наявність швидкого SSD-накопичувача допомагає моделі завантажуватися швидше та уникати затримок під час перемикання між моделями.

Зрештою, процесор також має значення. Для розумного використання ідеально починати з 4 фізичних ядер, а якщо ви хочете запускати кілька екземплярів або одночасних завдань, то 8 або більше. Майже будь-який сучасний процесор може обробляти 7 ядер, але якщо ви маєте намір виконувати інші речі паралельно, ви оціните певний запас потужності.

Ollama Desktop: фактичний стандарт для місцевих LLM

У поточній екосистемі Ollama стала найпопулярнішим вибором для розробників та користувачів, які хочуть чогось простого, але потужного. Її філософія дуже схожа на Docker: ви витягуєте модель, запускаєте її за допомогою `run`, і у вас є готовий до використання API на localhost — практично plug-and-play.

У Linux та macOS встановлення зазвичай передбачає використання офіційного скрипта, такого як `curl -fsSL https://ollama.com/install.sh | sh` . У Windows інсталятори .exe, які можна завантажити, доступні на веб-сайті Ollama. Після встановлення служба (демон) автоматично запускається разом із системою, забезпечуючи постійну готовність вашого сервера.

Найбільша перевага Ollama полягає в тому, що вона надає HTTP API за адресою localhost:11434 з дизайном, дуже схожим на OpenAI API. Це означає, що ви можете вказати будь-який існуючий клієнт (бібліотеки Python, розширення VS Code, фронтенди, такі як OpenWebUI або AnythingLLM) на цю URL-адресу, і в багатьох випадках простої зміни кінцевої точки та пароля достатньо для переходу з хмари на локальний інтерфейс.

У системах, подібних до Linux, Ollama зберігає моделі в налаштовуваній папці, наприклад, /usr/share/ollama/.ollama/models . Ви можете налаштувати цей шлях (OLLAMA_MODELS), визначити хост і порт (OLLAMA_HOST), налаштувати час keep-alive для моделей у пам'яті (OLLAMA_KEEP_ALIVE) або ввімкнути детальне ведення журналу (OLLAMA_DEBUG) за допомогою змінних середовища. В інсталяціях на базі systemd ці параметри зазвичай налаштовуються шляхом редагування відповідного файлу модуля.

Крім того, Ollama зберігає файл історії розмов для кожного користувача (наприклад, у ~/.ollama/history) та журнали служб, доступ до яких можна отримати за допомогою системних інструментів (journalctl у Linux). Це дозволяє перевіряти виконану роботу, налагоджувати проблеми з графічним процесором/процесором (повідомлення на кшталт «виявлено несумісні графічні процесори») або виявляти помилки дозволів під час запису моделей.

Основні команди Оллама для щоденного використання

Коли сервіс працює, серцем роботи з Ollama є кілька дуже простих команд терміналу . Найпоширенішою є `ollama pull` , яка завантажує або оновлює модель з офіційного реєстру: наприклад, `ollama pull llama3.2:1b` завантажить варіант з параметрами 1B.

Номенклатура моделей у реєстрі містить кілька позначок: розмір (1b, 3b, 7b, 13b, 32b, 70b…), квантування (q2_K, q4_K_M, q8_0, fp16…), а іноді й такі варіанти, як instruct, chat, code, vision або «latest». Ці останні позначення вказують на те, чи налаштована модель на виконання інструкцій, спілкування, програмування або роботу із зображеннями. «Latest» зазвичай є розумним балансом між якістю та ресурсами.

Щоб зв'язатися з моделлю з терміналу, використовуйте `ollama run` , наприклад, `ollama run llama3.2:1b` . Якщо модель не завантажено, її буде завантажено першою. Потім з'явиться інтерактивне вікно, де ви можете ввести свої запити та отримати відповіді, зберігаючи контекст у межах сеансу.

У цьому запиті Ollama пропонує спеціальні команди, що починаються зі склесної риски: /? або /help для перегляду довідки, /set parameter <назва> <значення> для зміни параметрів генерації на льоту, /show для перегляду деталей моделі (шаблон, метадані, ліцензія), /save <назва> та /load <назва> для збереження та завантаження сесій, /clear для очищення контексту та /bye або /exit для виходу.

Окрім `run`, є кілька дуже корисних команд керування: `ollama list` відображає список встановлених моделей з їх розміром та датою; `ollama show <model>` відображає її детальну конфігурацію; `ollama rm <model>` видаляє її з диска. За допомогою `ollama cp <source> <destination>` ви створюєте логічну копію моделі (вона не дублює гігабайти, лише маніфест), що ідеально підходить для налаштування без використання подвійного простору.

Щоб побачити, які моделі завантажено в пам'ять, використовуйте `ollama ps` , який вказує розмір, використовуваний процесор (CPU або GPU) та час з моменту останнього доступу. Звідти ви можете перевірити, чи активне прискорення GPU (100% GPU в PROCESSOR), чи воно залежить виключно від CPU. Якщо ви хочете зупинити певну модель, використовуйте `ollama stop <model>` .

Зрештою, ollama push дозволяє завантажувати власні моделі до офіційного реєстру, що має такі переваги, як легке розповсюдження, керування версіями за допомогою тегів та постійна доступність навіть у разі втрати локальної копії. А ollama serve змушує сервер запускатися на передньому плані, якщо, наприклад, він не налаштований як системна служба.

Ollama Desktop у Windows: встановлення та базова конфігурація

У Windows Ollama зазвичай використовується через графічний інсталятор, але базова функціональність залишається такою ж. Після завантаження та встановлення з ollama.com програма працює у фоновому режимі та відображається в області сповіщень. З цього моменту сервер активний на порту за замовчуванням.

Важливою деталлю є налаштування автоматичного запуску . За замовчуванням Ollama запускається щоразу, коли ви вмикаєте комп’ютер. Якщо ви не хочете, щоб вона працювала постійно, ви можете перейти до диспетчера завдань, на вкладку «Завантаження програм», знайти запис Ollama та вимкнути його. Таким чином, вона запускатиметься лише тоді, коли вона вам дійсно потрібна.

Ще одним дуже зручним налаштуванням у Windows є визначення змінної середовища OLLAMA_MODELS для керування диском, на якому зберігаються моделі. У розділі «Редагувати системні змінні середовища» можна створити змінну користувача з назвою OLLAMA_MODELS зі значенням, що дорівнює шляху до папки, де потрібно зберігати файли (наприклад, на додатковому диску з більшим обсягом місця).

Після застосування конфігурації просто відкрийте вікно CMD або PowerShell і введіть «ollama», щоб переглянути доступні команди. Звідти першим типовим кроком є ​​завантаження полегшеної версії, наприклад, `ollama run llama3.2` , яка завантажить і запустить її автоматично.

Під час завантаження ви побачите прогрес у самому терміналі. Після завершення ви зможете вводити запитання, ніби це чат. Звідти ви можете використовувати "/?", щоб переглянути список внутрішніх команд, "/show", щоб переглянути інформацію про модель, або "/bye", щоб закрити сеанс. Щоб побачити, які моделі ви завантажили, команда `ollama list` відобразить список з їхніми розмірами.

Вибір моделей відповідно до сценарію використання

Після того, як ви запустили та запустили Ollama Desktop, виникає важливе питання: яку модель мені слід завантажити? Поточний каталог величезний, але ви можете сортувати його за варіантами використання та доступними ресурсами, щоб уникнути перевантаження.

Для загального спілкування та використання в ролі асистента , такі моделі, як Llama 3.x, Mistral, Gemma або Qwen розмірів 7B-9B, є надійним вибором. Вони здатні вести зв'язні розмови, пояснювати концепції, допомагати з письмом та відповідати на загальні запитання. Багато з них мають варіанти "інструкцій", які, як правило, краще працюють при виконанні певних команд.

Якщо вам потрібна допомога з генерацією коду , найкраще використовувати спеціалізовані інструменти, такі як Code Llama, DeepSeek Coder або WizardCoder, які спеціально налаштовані для репозиторіїв програмування. Це видно з їхньої здатності виконувати функції, пояснювати помилки та краще дотримуватися ідіоматичних шаблонів різних мов.

Для узагальнення та аналізу тексту (класифікація, аналіз настроїв, вилучення сутностей тощо) добре підходять багато моделей загального призначення, але на практиці більш досконалі моделі на основі інструкцій, як правило, є надійнішими та менш схильними до помилок. У будь-якому випадку, бажано протестувати їх на власних документах.

У мультимодальній сфері (текст + зображення) є такі моделі, як LLaVA, Moondream або варіанти Vision з більших сімейств. На веб-сайті Ollama ви можете фільтрувати за тегом «Vision», щоб знайти ті, які приймають зображення як частину підказки та здатні їх описувати, відповідати на запитання про них або навіть допомагати відтворювати стилі.

Остаточний вибір також залежить від вашого обладнання: модель 2B або 3B працюватиме практично на будь-якому комп'ютері, модель 7B добре працює на більшості сучасних ноутбуків, а починаючи з 13B рекомендується мати 16 ГБ оперативної пам'яті та, якщо можливо, виділену відеокарту . Ніщо не замінить тестування: завантажте два або три кандидати та виберіть той, який найкраще працює у вашому конкретному випадку.

За межами Оллами: LM Studio, Ян та місцева екосистема

Хоча Ollama Desktop є центральним компонентом, екосистема локальних LLM є широкою та пропонує інструменти для задоволення різноманітних потреб. Серед найбільш актуальних є LM Studio , орієнтований на тих, хто віддає перевагу повноцінному графічному інтерфейсу як для спілкування в чаті, так і для налаштування параметрів.

LM Studio можна завантажити з офіційного вебсайту, він доступний для Windows, macOS та Linux. Після відкриття ви знайдете вбудовану пошукову систему моделей, яка використовує Hugging Face, що дозволяє фільтрувати за розміром, архітектурою, квантуванням або типом завдання. Завантаження моделей займає лише кілька кліків.

Після завантаження моделі програма пропонує візуальні елементи керування для температури, top-p, top-k, штрафу за повторення, довжини контексту та інших параметрів виведення, якими можна керувати за допомогою повзунків. Це дуже корисно, коли ви хочете одразу побачити, як змінюється поведінка моделі з різними налаштуваннями, без ручного редагування конфігурацій.

Як і Ollama, LM Studio може налаштувати локальний сервер, сумісний з OpenAI API . На вкладці «Локальний сервер» ви активуєте службу, а потім можете направляти зовнішніх клієнтів до цього екземпляра. Практична відмінність полягає в тому, що LM Studio обслуговує лише поточну завантажену модель, тому перемикання моделей вимагає ручної взаємодії в інтерфейсі.

Останні версії LM Studio включають підтримку кількох моделей та вбудовування , що є ключовим, якщо ви хочете налаштувати локальну RAG: ви можете мати одну генеративну модель для відповідей та іншу, спеціалізовану для створення векторів для індексації документів та виконання семантичного пошуку. Це швидкий спосіб прототипування «чатів з вашими PDF-файлами» в середовищах, де ви не можете використовувати OpenAI для вбудовування з міркувань конфіденційності.

Ще один інструмент, на який варто звернути увагу, – це Jan , повністю відкритий клієнт чату (ліцензія Apache 2.0), який поєднує дуже чистий інтерфейс із надійною системою розширень. Його механізм виводу Nitro, заснований на llama.cpp, може працювати як окремий бекенд, а за допомогою розширень ви можете підключити його як до спеціалізованих локальних движків (TensorRT-LLM, OpenVINO для Intel, бекендів AMD/ROCm), так і до віддалених API, зберігаючи при цьому той самий інтерфейс користувача.

Ян чудово справляється з тим, що важливо для перевірки та повного самостійного розміщення . Якщо ваша організація хоче переглядати код, розгортати власний інтерфейс на внутрішніх серверах та мати свободу налаштування клієнта, Ян — чудова основа. Крім того, він підтримує кілька профілів та серверних частин, що дозволяє використовувати локальну модель для розробки та хмарну для продакшену без зміни кінцевого застосунку.

Інтеграція з іншими інструментами: ComfyUI, Apidog та іншими

Однією з переваг використання Ollama як бекенду є його безшовна інтеграція з іншими компонентами локальної екосистеми, як для генерації зображень, так і для тестування API та RAG. Яскравим прикладом є його використання разом із ComfyUI , популярним середовищем вузлів для Stable Diffusion.

У розширених робочих процесах з відео або зображеннями до відео зазвичай використовується модель посилань (LM) для розгортання підказок, опису зображень або налаштування описів . Деякі сторонні вузли (наприклад, від Plush-for-ComfyUI) дозволяють вибрати Ollama як джерело LLM. Просто запустіть Ollama у фоновому режимі, встановіть відповідні вузли та виберіть завантажену модель зі спадного меню в самому робочому процесі.

Наприклад, у вас може бути модель першого бачення, яка описує зображення (як Florence2 або LLaVA), та друга модель, що обслуговується Ollama, яка переписує цей текст, щоб створити більш насичену, відеоорієнтовану підказку. Весь процес залишається на вашому комп’ютері, і ви можете перемикатися між моделями одним клацанням миші, щоб порівняти результати.

Що стосується API та налагодження , такі інструменти, як Apidog, починають пропонувати спеціальні функції для локальних LLM. Починаючи з API Ollama за адресою http://localhost:11434, ви можете визначати запити до /api/generate, /api/chat або /api/embeddings, налаштовувати параметри, такі як температура або max_tokens, та переглядати структуровану відповідь у зручному для користувача вигляді.

Під час роботи зі складнішими моделями міркувань (наприклад, DeepSeek R1) особливо корисно, коли тестовий клієнт об'єднує та чітко відображає потоковий контент , що полегшує відстеження «процесу думок» моделі, коли потокове передавання ввімкнено. Це значно спрощує налагодження, перевірку впливу різних параметрів на результати та порівняння результатів між моделями.

Крім того, інтегруючи Ollama в додатки за допомогою коду (Python, Node, Go тощо), ви можете використовувати ці типи інструментів для тестування API поза додатком , моделювання граничних випадків, перевірки обробки помилок та вимірювання часу відгуку перед розгортанням у робочому середовищі або середовищах автоматизованого тестування.

Практичні поради щодо ефективності та поширені помилки

Щоб запобігти перетворенню досвіду роботи з локальними LLM на кошмар, рекомендується застосовувати певні шаблони конфігурації . Перший — налаштувати розмір моделі відповідно до вашої машини: добре налаштована модель 7B краща за повільну модель 34B. Економія переважує теоретичний приріст потужності.

Майже завжди варто використовувати квантовані моделі в Q4_K_M або подібних , хіба що у вас потужний графічний процесор і ви хочете максимізувати якість. Ви побачите помітну різницю у споживанні відеопам'яті та оперативної пам'яті, а стрибок продуктивності зазвичай буде в кілька разів більшим. Також бажано обмежити розмір контексту тим, що вам насправді потрібно: перехід від 4K до 128K токенів різко збільшує споживання пам'яті та не завжди забезпечує додаткову цінність.

Під час поєднання центрального та графічного процесорів пам’ятайте, що якщо вся модель не поміщається у відеопам’ять, частину обробки доведеться перенести на оперативну пам’ять, що зменшить перевагу графічного процесора. У деяких сценаріях сучасний процесор з достатньою кількістю уніфікованої пам’яті може перевершити обмежений графічний процесор на 4 ГБ, змушений працювати з вищою продуктивністю.

Щодо поширених помилок, однією з класичних є спроба запустити моделі, які занадто великі для доступної оперативної пам'яті , що призводить до збоїв або повідомлень "не вистачає пам'яті". Інша - забуття перевірки дозволів папки models та невдалі завантаження без розуміння причини. У Linux перевірка журналів служб та дозволів /usr/share/ollama/.ollama/models зазвичай швидко з'ясовує причину.

Зрештою, не варто самовдоволено ставитися до конфіденційності: те, що модель працює локально, не означає, що вона безризикова. Впровадження запитів все ще існують, і якщо ви поєднаєте LLM із внутрішніми даними у більшій системі, ви можете врешті-решт витягнути конфіденційну інформацію через погано розроблений запит або неадекватну фільтрацію вхідних даних.

З огляду на все вищесказане, можна з упевненістю сказати, що налаштування локального середовища LLM за допомогою Ollama Desktop, LM Studio або Jan тепер доступне кожному, хто має досить пристойний комп'ютер і трохи терпіння під час початкового налаштування. Поєднання конфіденційності, економії коштів і контролю, що пропонуються цими інструментами, робить зусилля вартими, особливо якщо ви працюєте з конфіденційними даними або хочете експериментувати, не перевіряючи постійно кількість токенів. Після встановлення Ollama, завантаження моделі, такої як llama3.2:8b або mistral, і спрямування ваших проектів на localhost:11434, у вас буде дуже надійна відправна точка для інтеграції генеративного ШІ у ваш робочий процес без повної залежності від великих хмарних платформ.