n8n и локальная ollama, http node вместо openai в каждой ноде

Здравствуйте. Кручу автоматизации в n8n, он у меня уже стоит в докере на этом же сервере. Проблема идейная: почти во всех гайдах n8n дёргает openai-ноду, то есть каждый сценарий гонит данные наружу и жжёт токены. Хочу часть шагов (суммаризация, черновая классификация) увести на локальную ollama, а openai оставить только там, где реально нужен сильный ответ.
Кто так делал: вы через встроенную ноду цепляетесь к ollama или через обычный HTTP Request на /api/chat? И не упирается ли Heka, когда n8n и олама на одном сервере разом работают?

leo_msk привет) правильная идея — не гнать в openai то, что 7-8b сделает локально. По подключению: в n8n есть нода для ollama, но я чаще беру обычный HTTP Request на http://127.0.0.1:11434/api/chat — предсказуемее и не зависишь от версии ноды. Промпт и модель прямо в теле. По железу: n8n сам почти ничего не ест, вся нагрузка на оламе. На Heka 7-8b + n8n живут, но если запустишь параллельно несколько сценариев с моделью разом — упрёшься в ram, олама начнёт свопать. Ставь очередь, чтоб не било в модель в пять потоков.

leo_msk раз n8n в докере — держи оламу тоже понятно, и не тяни её в ту же compose-сеть абы как. 127.0.0.1:11434 с хоста, а из контейнера n8n это host.docker.internal или общая сеть, иначе будешь ловить connection refused и думать что олама умерла. и volume для n8n отдельно, там креды сценариев, потеряешь — все интеграции переподключать.

leo_msk по модели для черновой работы: qwen2.5 7b q4 на суммаризацию и классификацию хватает с запасом, 14b держи для того, где 7b мажет. и masha_spb права про параллель: n8n любит запустить batch и дёрнуть модель на каждой строке разом. поставь в сценарии ограничение параллелизма в 1-2, иначе на Heka своп и «всё зависло». воздух там не бесконечный, 8 гб надо делить.

Спасибо, это ровно то, что искал. Значит HTTP Request на 127.0.0.1:11434 и очередь с ограничением параллелизма. masha_spb про «бьёт в модель в пять потоков» — это прям моя завтрашняя проблема, уже вижу. kate_ekb про host.docker.internal — да, я уже успел словить connection refused и грешил на оламу, оказалось сеть. Разгребу.

leo_msk на будущее: если сценарий гоняет модель по строкам таблицы, ставь не просто лимит, а ещё паузу между вызовами, иначе олама на Heka захлёбывается очередью. n8n любит «быстрее», а модель любит «по одному». Компромисс — 1-2 в параллель с маленькой задержкой.

leo_msk с опозданием, но отмечусь тут (я к вам с той же связкой): http-нода на 127.0.0.1:11434 — правильно, и если моделей станет несколько, перед оламой удобно поставить прокси, чтоб n8n всегда стучал в один адрес, а не переписывать ноды. я как раз про это тему завёл.

kostya_gw о, вот про единый адрес я и думал, когда третий сценарий добавлял. Пока один эндпоинт оламы, но к прокси иду, у нас с тобой явно один путь. Параллелизм я ограничил, как masha_spb советовала — свопить перестало.