у нас есть grpo, dr.grpo и dapo по-дефолту будет grpo все же
у нас есть grpo, dr.grpo и dapo по-дефолту будет grpo все же
0 viewsОткрыть в Telegram →
Из этого канала
- #5623On neural scaling and the quanta hypothesis https://ericjmichaud.com/quanta/
On neural scaling and the quanta hypothesis https://ericjmichaud.com/quanta/
- #5624Ребят, у нас можно будет в GRPO алгоритмах собирать роллауты с отдельного vllm…
Ребят, у нас можно будет в GRPO алгоритмах собирать роллауты с отдельного vllm воркера Я на первой гпухе запустил GRPO, на второй модельку в вллм для сбора…
- #5627Круто! А реварды ты придумал как кастомизировать?
Круто! А реварды ты придумал как кастомизировать?
- #5619Ищем в команду сильного fullstack 🔨 или бэкенд и фронтенд Что важно по навыкам:…
Ищем в команду сильного fullstack 🔨 или бэкенд и фронтенд Что важно по навыкам: + уверенный backend (Python / Node / или Go / API / работа с LLM, RAG ) + или…
- #5618320м моделька с 4к контекстом батчсайз 6 претрен на 8гб данных (очень мало, но…
320м моделька с 4к контекстом батчсайз 6 претрен на 8гб данных (очень мало, но столько выкачано да и для прицела пойдет) должно хватить 30 часов на 2x3090…