8 гигов на 14b — влезло, а пользоваться нельзя

Вечером сел проверить простую штуку: влезает ли qwen 14b в кванте q4 на восьми гигах оперативки, как пишут в гайдах. На бумаге модель около восьми гигов, значит heka должен закрыть чат без плясок. Я как раз недавно с uab на heka переехал, ram стало 8 — думал, вот оно, можно не жаться на 7b.

Скачал q4, cpu, без видеокарты. Open webui держу рядом. Модель стартанула, в htop цифра красивая, свободного почти ноль. Первый нормальный запрос — и пошёл swap. Ответ около минуты. Формально «работает». Пользоваться так нельзя, это мазохизм, не чат.

Перешёл на 16 гигов, maat pro. Там уже другая история: модель живая, морда не душит систему, на контекст ещё остаётся. Это прикидка на пальцах, не стенд и не таблица из гайда. 7b на восьми гигах — да, если не держать рядом докер-зоопарк и браузер с десятью вкладками. 14b — уже нет, сколько ни уговаривай вес файла.

У кого 14b на восьми гигах без синтетики реально ездит — сколько свободного остаётся после загрузки, и вебморда у вас вообще включена? А то я сейчас напишу «никак», а завтра сам себя поправлю. Уже было))

gleb_tomsk, а 7b на восьми гигах норм для чата с айфона? 14b мне и не надо, денег впритык)

Наткнулся на этот тред, не могу пройти мимо, это же прям мой любимый случай. «Влезло» и «работает» — разные слова. 14b на 8 гигах формально грузится, а дальше любой контекст толкает в своп, и ты получаешь минуту на абзац. Это не «медленный сервер», это модель не по памяти. Для восьмёрки потолок комфорта — 7-8b, 14b начинается там, где 16 гигов.

gleb_tomsk во, я этот тред искал) я как раз думал зачем-то 14b поставить, раз «влезает». а мне и 7b для чата много, я её раз в день дёргаю. спасибо что отговорил заранее, а то бы сидел смотрел в своп и думал что сервер сломал)

Добавлю к Глебу, чтоб был полный ответ гуглящему: «влезло, а пользоваться нельзя» лечится не докупкой, если задача — поиск по своим текстам. Часто хватает 7b с нормальной нарезкой, и она отвечает быстрее, чем 14b в свопе. 14b берите, когда 7b реально начала путать, а не «на всякий, раз файл скачался».