Устанавливаем AI локально с Ollama

В этой статье я расскажу, как легко, быстро и бесплатно установить AI локально на ваш компьютер. А в следующих статьях — мы будем подключать LLM к Obsidian для локальной работы AI с нашей базой данных и обучать LLM.

Термины и ссылки

AI — artificial Intelligence, искусственный интеллект.

LLM — large language model, большая языковая модель.

Dataset — данные для обучения AI.

GUI — graphical user interface, графический пользовательский интерфейс.

CLI — командная строка.

Ollama — приложение для установки и управления локальными LLM через терминал.

LM Studio — приложение для установки и управления локальными LLM через GUI.

Hugging Face — платформа, ориентированная на создание и обмен моделями AI и Dataset.

Ollama — это приложение, которое поможет установить LLM локально на ваш компьютер, работает под Windows, Linux, MAC.

Ollama автоматически обнаруживает и использует доступные NVIDIA GPU. Убедитесь, что у вас установлены правильные драйверы. Для AMD GPU на Linux требуется ROCm.

Репозиторий Ollama

GitHub — основное место для сообщения о проблемах.

Документация — много полезной информации.

Сайт — откуда проще всего скачать Ollama.

Установка Ollama

Установка супер-простая: скачиваем и устанавливаем приложение.

Запуск Ollama

Запуск и скачивание моделей для Ollama происходит через терминал.

Открываем терминал (PowerShell, CMD или Terminal).

Выбираем модель на сайте Ollama в разделе Models.

Здесь я выбрал Gemma3 с 4 миллиардами параметров — gemma3:4b.

Чтобы скачать и запустить:

ollama run gemma3:4b

И всё, мы уже можем общаться с AI через консоль.

У меня достаточно дерзкая модель попалась, с характером!

Установка только с CPU, через Docker

Если у нас нет хорошей видеокарты GPU, мы можем использовать LLM с процессором CPU. Для этого нам нужно развернуть модель в Docker.

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Если нужна установка через Docker Nvidia или AMD GPU, почитайте документацию.

Обновление Ollama

Ollama на macOS и Windows автоматически загружает обновления. Нажмите на значок на панели задач или в меню, а затем «Перезапустить для обновления».

Telegram канал Get My AI