"Джеминай утверждает, что есть эмпирическое правило - размерность пространства эмбеддингов растёт примерно как корень четвёртой степени из размера словаря (количества уникальных токенов). То есть, если я для учебно-тренировочной задачи построения игрушечного, но совсем как настоящего (со всеми детальками и процессами как у настоящего), трансформера выберу размерность пространства эмбеддингов - 4, то словарь моего ""игрушечного"" языка должен состоять где-то из 256 уникальных токенов-слов? Так?"
"Джеминай утверждает, что есть эмпирическое правило - размерность пространства…
0 viewsОткрыть в Telegram →
Из этого канала
- #4765"Кажется, что с совсем маленьким игрушечным языком (например, язык Дерсу Узала)…
"Кажется, что с совсем маленьким игрушечным языком (например, язык Дерсу Узала) это не работает. Надо размерность пространства эмбеддингов побольше.
- #4766https://jeremyberman.substack.com/p/how-i-got-the-highest-score-on-arc-agi-again
https://jeremyberman.substack.com/p/how-i-got-the-highest-score-on-arc-agi-again
- #4767WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and…
WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning https://arxiv.org/abs/2509.13305
- #4763https://docs.unsloth.ai/new/memory-efficient-rl
https://docs.unsloth.ai/new/memory-efficient-rl
- #4759Вот такой RAG реализовал по работе. Каких-то теоретических изысканий по этой…
Вот такой RAG реализовал по работе. Каких-то теоретических изысканий по этой схеме не делал. На практике, работает вполне пристойно.