Локальные модели: Ollama и LM Studio

Что даёт локальная модель

Локальная модель считает текст на вашем компьютере, а не на чужом сервере. Отсюда три следствия: за неё не нужно платить, интернет для ответа не нужен, а текст главы и правила рукописи остаются внутри машины. Так же работают чат и агенты — просто модель у них своя, домашняя.

Плата за это — компьютер. Скорость ответа зависит от его памяти и процессора, а сама модель занимает место на диске: веса скачиваются один раз, но качаются долго и весят гигабайты. Чем слабее машина, тем меньше моделей ей по силам — облачные модели такой привязки не имеют, но требуют собственного доступа к сервису.

Ollama подключается сама

Ollama не нужно прописывать руками. В разделе «Провайдеры» под списком подключений есть карточка «Ollama на этом компьютере»: приложение проверяет http://127.0.0.1:11434 и показывает, отвечает ли Ollama, какая у неё версия и сколько в ней моделей. Карточка появляется только тогда, когда Ollama уже найдена или подключена.

1. Запустите Ollama на компьютере.

   Если она не отвечает, карточка прямо об этом говорит. Кнопка «Проверить снова» проверяет адрес ещё раз — то же делает Enter в поле адреса.

2. Нажмите «Подключить Ollama».

   Приложение создаст провайдера со всеми найденными моделями. Если другого рабочего провайдера нет, Ollama сразу становится активной и её модели появляются в меню моделей чата.

3. Скачайте модель, если нужно.

   Блок «Скачать модель из Ollama» лежит в той же карточке.

4. Проверьте «Модель по умолчанию» в редакторе провайдера и нажмите «Сохранить».

   Ключ для Ollama не нужен, а переключатель «Требуется API-ключ» уже снят шаблоном — трогать его не надо.

Когда подключение уже есть, в карточке появляется кнопка «Обновить список моделей»: она заново спрашивает у Ollama, что установлено.

Скачать модель, выбрать и удалить

Введите имя модели — например, llama3.2 или qwen2.5:7b, — и нажмите «Скачать»: приложение попросит Ollama скачать модель, не выходя из настроек. Видны статус, проценты и объём; после завершения модель сразу доступна в чате. Рядом есть подсказки с популярными именами — по клику имя подставляется в поле.

У каждой установленной модели видно её размер и квантование, а рядом две кнопки:

• «Выбрать» — сделать модель активной в чате; у текущей вместо кнопки стоит отметка «выбрана»;
• «Удалить» — стереть файлы модели из Ollama.

Ollama на другой машине

Если Ollama стоит не на этом компьютере, впишите её адрес в поле карточки. На той машине Ollama нужно запустить с переменной OLLAMA_HOST=0.0.0.0, иначе она принимает подключения только со своего localhost.

Больше ничего настраивать не нужно: запросы к локальной модели идут с локального сервера приложения, а не из окна браузера.

LM Studio

LM Studio подключается готовым шаблоном из карточки «Готовые шаблоны». Он подставляет адрес http://127.0.0.1:1234/v1, тип API «OpenAI-совместимый API» и снимает переключатель «Требуется API-ключ» — ключ здесь тоже не нужен.

Дальше порядок обычный: нажмите «Проверить связь», чтобы приложение забрало список моделей, выберите «Модель по умолчанию» и нажмите «Сохранить». Как и Ollama, LM Studio — отдельная программа: приложение только подключается к ней по адресу. Если список моделей пуст, нажмите «Обновить список моделей» ещё раз — обычно дело в том, что LM Studio не запущена или модель в ней не загружена.

Если локальная модель думает слишком долго

Некоторые модели сначала рассуждают, и на слабой машине это заметно сильнее всего: короткое «Привет» может ждать первый текст секунды, а целая глава — минуты. Лечится это уровнем мышления.

Рядом с выбором модели в чате есть пилюля с уровнями. Поставьте думающей модели уровень «Выкл» — для Ollama приложение отправит запрос без рассуждений, и модель начнёт отвечать сразу. Промежуточные ступени Ollama не понимает: смысл имеет только «Выкл», остальные уровни она игнорирует.

Вернуться к облачным подключениям и общему устройству раздела — в статье Провайдеры и модели. Про GigaChat и YandexGPT рассказано отдельно: GigaChat, YandexGPT.