добавляю лигеркернелы в претрен наших собственных моделек щас там 7гб врам используется было 11 пока хорошо, но надо проверять)
добавляю лигеркернелы в претрен наших собственных моделек щас там 7гб врам…
0 viewsОткрыть в Telegram →
Из этого канала
- #5618320м моделька с 4к контекстом батчсайз 6 претрен на 8гб данных (очень мало, но…
320м моделька с 4к контекстом батчсайз 6 претрен на 8гб данных (очень мало, но столько выкачано да и для прицела пойдет) должно хватить 30 часов на 2x3090…
- #5619Ищем в команду сильного fullstack 🔨 или бэкенд и фронтенд Что важно по навыкам:…
Ищем в команду сильного fullstack 🔨 или бэкенд и фронтенд Что важно по навыкам: + уверенный backend (Python / Node / или Go / API / работа с LLM, RAG ) + или…
- #5622у нас есть grpo, dr.grpo и dapo по-дефолту будет grpo все же
у нас есть grpo, dr.grpo и dapo по-дефолту будет grpo все же
- #5614лигер кернелы в процессе. частично добавлено в grpo. раньше тут память…
лигер кернелы в процессе. частично добавлено в grpo. раньше тут память долбилась в потолок, то есть всегда почти была 22-23гб, щас сильно поменьше.
- #5612Ребята сделали крутую обзорку механизмов знаний в ллмковых. Обязательно…
Ребята сделали крутую обзорку механизмов знаний в ллмковых. Обязательно сохраняем! Я вообще очень люблю обзорки, ведь муторно все время следить за самыми…