🦋 Какой-то гений выпустил тулзу Colibri, которая запускает гигантскую GLM-5.2 на 744 миллиарда (!) параметров на домашнем ПК — требуется всего 25 ГБ оперативной памяти даже без видеокарты. Как работает: • Это один файл на чистом C на 2400 строк — во время работы ему не нужны Python, библиотеки и GPU. • Трюк: модель занимает 370 ГБ на диске и подгружает только 10-20 ГБ данных в оперативную память по мере необходимости. • Вместо хранения всей модели в RAM, тулза загружает нужные блоки с SSD, использует их и освобождает место. • Ложка дёгтя в бочке мёда: на среднем железе скорость составляет 0,1 токена в секунду, но при быстром диске это можно ускорить. • После установки запускается всего за 30 секунд. Гоняем гигантскую LLM на картошке — тут. @notboring_tech