AI Soft

← Усі відкриті проєкти · Чат і асистенти

llama.cpp

llama.cpp — рушій, на якому працюють локальні ШІ: огляд і запуск

Мінімалістичний відкритий рушій для запуску мовних моделей на вашому ПК: працює на процесорі, економить пам'ять завдяки квантуванню й має вбудований сервер із вебінтерфейсом.

Відкрити на GitHubСайт проєкту

Чи варто це вам

Підійде, якщо

  • ви хочете запустити ШІ на ноутбуці без потужної відеокарти;
  • потрібен максимум контролю над запуском: квантування, розподіл між процесором і відеокартою;
  • хочете зрозуміти, на чому насправді працюють Ollama та Jan.

Краще не братися, якщо

  • потрібен запуск в один клік — візьміть [Jan](/open-source/jan/) або [Ollama](/open-source/ollama/);
  • потрібен спільний чат для команди — дивіться [Open WebUI](/open-source/open-webui/).

Плюси й мінуси

Плюси

  • Працює без хмари й без інтернету; підходить, коли відеокарти немає: основна ціль проєкту — запуск на широкому колі заліза.
  • Квантування моделей (від 1,5 до 8 біт) зменшує потрібну пам'ять і прискорює відповіді.
  • Гібридний режим CPU+GPU дозволяє запускати моделі, що не вміщуються у відеопам'ять повністю.
  • Підтримка багатьох пристроїв: процесори x86 (AVX, AVX2, AVX512), Apple Silicon, відеокарти NVIDIA (CUDA), AMD (HIP), Vulkan та інші.
  • Команда llama serve піднімає OpenAI-сумісний API і вбудований вебінтерфейс.

Мінуси й обмеження

  • Це інструмент для тих, кому не страшний термінал: готового вікна чату з гарним дизайном немає (є простий вбудований вебінтерфейс).
  • Моделі треба обирати самому, зазвичай у форматі GGUF — для новачка це складніше, ніж у Jan чи Ollama.

Що це

llama.cpp — відкритий рушій для запуску мовних моделей, написаний на C/C++ без зовнішніх залежностей. Його мета, за словами авторів, — запускати моделі з мінімальним налаштуванням на максимально широкому колі заліза: від звичайного процесора до відеокарт. Саме на ньому побудовано чимало зручніших програм, зокрема Ollama.

Чим корисний, коли немає відеокарти

Головне — квантування: модель стискається (від 1,5 до 8 біт на параметр), тому займає менше пам’яті й швидше відповідає. А режим CPU+GPU дозволяє розділити модель між процесором і відеокартою, якщо вона не вміщується у відеопам’ять повністю. Для слабкого ноутбука це часто єдиний шлях запустити щось корисне без інтернету. Скільки це дає саме на вашому ПК — залежить від моделі та пам’яті, тож починайте з найменшої. Про вибір моделі за розміром — у статті «Своя GPT безкоштовно».

Як запустити

Підказка: як відкрити термінал. Windows — клацніть правою кнопкою миші на «Пуск» і оберіть «Термінал» (або «Windows PowerShell»). macOS — натисніть Cmd+Пробіл, введіть Terminal і Enter. Далі вставте команду з кнопки «Копіювати» (Ctrl+V, на macOS Cmd+V) і натисніть Enter.

1. Встановіть. Windows (PowerShell):

irm https://llama.app/install.ps1 | iex

macOS і Linux:

curl -LsSf https://llama.app/install.sh | sh

Інші способи — готові збірки, Docker, збірка з коду — на GitHub.

2. Запустіть чат у терміналі. Команда сама завантажить маленьку модель із Hugging Face (частина -hf — це її адреса там):

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

3. Або підніміть сервер із вебінтерфейсом. Після запуску відкрийте адресу, яку покаже програма в терміналі:

llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Команди взято з README проєкту станом на 13 жовтня 2026.

Що врахувати

  • Це для тих, кому комфортно з терміналом. Новачкам простіше почати з Jan.
  • Якість — як у моделі. Рушій лише запускає модель; маленька модель на слабкому ПК відповідатиме гірше за найновіші хмарні чати.
  • Українська. Залежить від моделі; перевіряйте на власних текстах.

Часті запитання

Що таке llama.cpp простими словами?

Це програма, яка вміє запускати мовні моделі на звичайному комп'ютері. Саме її рушій лежить в основі Ollama (у README Ollama вказано llama.cpp як підтримуваний бекенд) та багатьох інших локальних чатів.

Як встановити llama.cpp?

Відкрийте термінал. У Windows PowerShell виконайте:

irm https://llama.app/install.ps1 | iex

У macOS і Linux:

curl -LsSf https://llama.app/install.sh | sh

Також є готові збірки на сторінці релізів, образ Docker і збірка з вихідного коду.

Як запустити модель?

Після встановлення виконайте команду: вона завантажить модель із Hugging Face й відкриє чат у терміналі.

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

Для API-сервера замість llama cli використайте llama serve з тією самою моделлю.

Чи потрібна відеокарта?

Ні: проєкт створено для роботи в тому числі на процесорі. Відеокарта прискорює відповіді; підтримуються NVIDIA (CUDA), AMD (HIP), Vulkan та інші.

Ще в розділі «Чат і асистенти»