πΈΠ Π΅Π»ΠΈΠ·ΠΈΠΌ Llama 4πΈ OSS Π½Π° ΡΡΠΎΠ²Π½Π΅ Gemini ΠΈ Deepseek Π‘Π΅Π³ΠΎΠ΄Π½Ρ ΠΌΡ ΡΠ΅Π»ΠΈΠ·ΠΈΠΌ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠ· ΡΠ΅ΠΌΠ΅ΠΉΡΡΠ²Π° Llama 4 β Llama 4 17Bx16 experts (Scout) ΠΈ 128 experts (Maverick) πΈΠ§ΡΠΎ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΠΎΠ³ΠΎ: β 10 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² ΡΠΎΠΊΠ΅Π½ΠΎΠ² ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ½ΠΎΠ³ΠΎ ΠΎΠΊΠ½Π° Ρ ΠΎΡΠ»ΠΈΡΠ½ΡΠΌ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎΠΌ Ρ ΠΌΠΎΠ΄Π΅Π»ΠΈ Scout β ΠΏΠΎΠ»Π½ΡΠΉ ΡΠ°Π·ΠΌΠ΅Ρ ΠΌΠΎΠ΄Π΅Π»ΠΈ 16 ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ² β 108 ΠΌΠ»ΡΠ΄ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², 128 ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ² β 400 ΠΌΠ»ΡΠ΄ β ΠΌΠΎΠ΄Π΅Π»Ρ ΠΌΡΠ»ΡΡΠΈΠΌΠΎΠ΄Π°Π»ΡΠ½Π°Ρ, ΠΈΠ½ΠΏΡΡ β ΡΠ΅ΠΊΡΡ, ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ, Π²ΠΈΠ΄Π΅ΠΎ. ΠΠ°ΡΡΠΈΠ½ΠΎΠΊ Π² ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡΠ΅ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π΄ΠΎ 5 ΡΡΡΠΊ, ΡΡΠΎΠ±Ρ ΡΠΎΡ ΡΠ°Π½ΡΠ»ΡΡ ΠΊΠΎΠ½ΡΠ΅ΠΊΡΡ β 12 ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΡΠ·ΡΠΊΠΎΠ² (Π°Π½Π³Π»ΠΈΠΉΡΠΊΠΈΠΉ, ΡΡΠ°Π½ΡΡΠ·ΡΠΊΠΈΠΉ, Π½Π΅ΠΌΠ΅ΡΠΊΠΈΠΉ, Π°ΡΠ°Π±ΡΠΊΠΈΠΉ ,Ρ ΠΈΠ½Π΄ΠΈ, ΠΈΠ½Π΄ΠΎΠ½Π΅Π·ΠΈΠΉΡΠΊΠΈΠΉ, ΠΈΡΠ°Π»ΡΡΠ½ΡΠΊΠΈΠΉ, ΠΏΠΎΡΡΡΠ³Π°Π»ΡΡΠΊΠΈΠΉ, ΠΈΡΠΏΠ°Π½ΡΠΊΠΈΠΉ, ΡΠ°Π³Π°Π»ΡΡΠΊΠΈΠΉ, ΡΠ°ΠΉΡΠΊΠΈΠΉ ΠΈ Π²ΡΠ΅ΡΠ½Π°ΠΌΡΠΊΠΈΠΉ), Π½ΠΎ Π±ΠΎΠ»Π΅Π΅ 200 Π² ΠΏΡΠ΅ΡΡΠ΅ΠΉΠ½Π΅ (ΠΈΠ· No Language Left Behind) ΠΠ΄Π΅ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ: π£Π§Π΅ΠΊΠΏΠΎΠΈΠ½ΡΡ HF π£ΠΠ»ΠΎΠ³ΠΏΠΎΡΡ
πΈΠ Π΅Π»ΠΈΠ·ΠΈΠΌ Llama 4πΈ OSS Π½Π° ΡΡΠΎΠ²Π½Π΅ Gemini ΠΈ Deepseek Π‘Π΅Π³ΠΎΠ΄Π½Ρ ΠΌΡ ΡΠ΅Π»ΠΈΠ·ΠΈΠΌ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠ·β¦
ΠΡΡΠΎΡΠ½ΠΈΠΊ
https://t.me/gonzo_ML/3541ΠΠ°Π½Π°Π» gonzo-ΠΎΠ±Π·ΠΎΡΡ ML ΡΡΠ°ΡΠ΅ΠΉ Β· ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ΠΎ 5 Π°ΠΏΡ. 2025 Π³.
ΠΠ· ΡΡΠΎΠ³ΠΎ ΠΊΠ°Π½Π°Π»Π°
- #3546Π Π΄Π»Ρ ΡΠ°Π·Π½ΠΎΠΎΠ±ΡΠ°Π·ΠΈΡ Π½Π΅ ΠΏΡΠΎ LLM. ΠΡΠ»ΠΈ ΡΡΠΎ Π½Π΅ ΠΏΠ΅ΡΠ²ΠΎΠ°ΠΏΡΠ΅Π»ΡΡΠΊΠ°Ρ ΡΡΡΠΊΠ°, ΡΠΎ Kawasakiβ¦
Π Π΄Π»Ρ ΡΠ°Π·Π½ΠΎΠΎΠ±ΡΠ°Π·ΠΈΡ Π½Π΅ ΠΏΡΠΎ LLM. ΠΡΠ»ΠΈ ΡΡΠΎ Π½Π΅ ΠΏΠ΅ΡΠ²ΠΎΠ°ΠΏΡΠ΅Π»ΡΡΠΊΠ°Ρ ΡΡΡΠΊΠ°, ΡΠΎ Kawasaki ΠΏΠΎΠΊΠ°Π·Π°Π» ΠΊΠΎΠ½ΡΠ΅ΠΏΡ Π½ΠΎΠ²ΠΎΠ³ΠΎ ~~ΠΌΠΎΡΠΎΡΠΈΠΊΠ»Π°~~ ΡΡΠ°Π½ΡΠΏΠΎΡΡΠ½ΠΎΠ³ΠΎ ΡΡΠ΅Π΄ΡΡΠ²Π°, Corleo:β¦
- #3547Multi-Token Attention Olga Golovneva, Tianlu Wang, Jason Weston, Sainbayarβ¦
Multi-Token Attention Olga Golovneva, Tianlu Wang, Jason Weston, Sainbayar Sukhbaatar Π‘ΡΠ°ΡΡΡ: https://arxiv.org/abs/2504.00927 ΠΡΠΎΠ΄ΠΎΠ»ΠΆΠ°Π΅ΠΌ ΡΠ°Π·Π±ΠΎΡΡ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡ.
- #3548Head mixing convolution ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΏΠ΅ΡΠ΅ΠΌΠ΅ΡΠΈΠ²Π°ΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ°Π·Π½ΡΠΌΠΈ Π³ΠΎΠ»ΠΎΠ²Π°ΠΌΠΈβ¦
Head mixing convolution ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΏΠ΅ΡΠ΅ΠΌΠ΅ΡΠΈΠ²Π°ΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ°Π·Π½ΡΠΌΠΈ Π³ΠΎΠ»ΠΎΠ²Π°ΠΌΠΈ Π² ΠΏΡΠ΅Π΄Π΅Π»Π°Ρ ΠΎΠ΄Π½ΠΎΠ³ΠΎ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ³ΠΎ ΡΠ°Π³Π°.
- #3540ΠΡ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΡΡ ΡΡΠ°ΡΡΠ½ΠΈΠΊΠΎΠ², ΡΠ°ΠΊ ΡΠΊΠ°Π·Π°ΡΡ
ΠΡ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΡΡ ΡΡΠ°ΡΡΠ½ΠΈΠΊΠΎΠ², ΡΠ°ΠΊ ΡΠΊΠ°Π·Π°ΡΡ
- #3538ΠΡΡΠ»Π° Llama 4! https://ai.meta.com/blog/llama-4-multimodal-intelligence/
ΠΡΡΠ»Π° Llama 4! https://ai.meta.com/blog/llama-4-multimodal-intelligence/