litellm перед ollama и парой облаков, чтоб не светить ключи в ботах

Привет. У меня уже стоит Heka с оламой, и накопилась проблема архитектуры: сервисов, которые ходят к моделям, стало несколько — бот, пара скриптов, n8n. Каждый лезет либо в оламу напрямую, либо в облако со своим ключом. Ключи расползлись по конфигам, а модель хочется дёргать единообразно и иногда переключать (локальная для дешёвого, облако для сложного), не переписывая каждого клиента.
Смотрю в сторону litellm как единого шлюза: один OpenAI-совместимый эндпоинт, за ним и олама, и облака, ключи в одном месте, роутинг по модели. Кто так делал на vps — litellm себя оправдывает как прокси, или это лишний слой и проще каждому клиенту свой конфиг? И как с ним по памяти на Heka рядом с оламой?

kostya_gw litellm ровно для этого и есть, идея правильная: клиенты знают один эндпоинт, а чем он отвечает — олама или облако — решаешь ты в одном конфиге. Ключи в одном месте, ротация в одном месте, и n8n/бот не надо трогать при переключении модели. По памяти litellm сам почти ничего не ест, это тонкий прокси, вся нагрузка по-прежнему на оламе. На Heka он рядом живёт спокойно. Единственное — это ещё один процесс, который надо держать живым, так что systemd/докер с рестартом и не забудь про доступ: сам litellm тоже за туннель или за ключ, а не в мир.

kostya_gw подтверждаю с n8n-стороны: у меня как раз боль была, что каждая нода со своим ключом. Перевёл на единый эндпоинт — стало сильно чище, при смене модели правлю в одном месте, а не в двадцати сценариях. Ставил litellm в докере рядом с n8n и оламой. Совет: пропиши в конфиге фолбэк — если облако не ответило, падать на локальную, чтоб сценарий не рушился целиком. И kostya_gw мы с тобой походу один сетап собираем, надо будет конфигами свериться.

kostya_gw раз в докере — держи litellm в отдельном контейнере, не в одном с оламой, чтобы рестартить прокси не трогая модель (олама грузится долго, незачем). конфиг litellm монтируй volume'ом, а не пеки в образ, будешь править роутинг без пересборки. и ключи не в compose открытым текстом, а через env_file, который не в git. а то соберёшь красивый шлюз и сольёшь все ключи разом одним пушем.

Спасибо, убедили, что не лишний слой. masha_spb про «litellm тоже за туннель» — да, я чуть не выставил его как олама-в-мир, хорошо что напомнили. leo_msk давай сверимся, у нас реально один сетап, фолбэк на локальную — забираю сразу, а то у меня облако пару раз таймаутило и всё вставало. kate_ekb env_file и отдельный контейнер — по делу, ключи в compose это грабли, о которых узнаёшь один раз и надолго.

kostya_gw по железу: litellm сам ничего не считает, память как была на оламе. но если через шлюз повесишь несколько локальных моделей разом «чтоб переключать» — вот они в память и не влезут одновременно на Heka. держи одну локальную загруженной, остальное через облако по фолбэку, иначе шлюз красивый, а оперативка кончилась.

gleb_tomsk да, я и планирую одну локальную (7b) держать горячей под дешёвое, а сложное фолбэком в облако. Две локальные разом на восьмёрке — понятно, что не влезут. litellm как раз удобен тем, что маршрут «дешёвое→локальная, сложное→облако» в одном конфиге, а не в каждом боте. leo_msk мы это и обсуждали.

kostya_gw свёл наконец свой конфиг с твоим по мотивам треда — фолбэк на локальную при таймауте облака спас уже дважды, сценарий не рушится целиком. Единый эндпоинт для всех нод n8n это вообще другая жизнь, при смене модели правлю в одном месте. Рекомендую всем, у кого зоопарк ключей.