Что-то интересное Ring-1T-preview: Deep Thinking, No Waiting The first 1 trillion open-source thinking model https://huggingface.co/inclusionAI/Ring-1T-preview
Что-то интересное Ring-1T-preview: Deep Thinking, No Waiting The first 1…
Из этого канала
- #4069Вот наконец и продукт доехал Introducing Tinker: a flexible API for fine-tuning…
Вот наконец и продукт доехал Introducing Tinker: a flexible API for fine-tuning language models.
- #4070Stochastic activations Maria Lomeli, Matthijs Douze, Gergely Szilvasy, Loic…
Stochastic activations Maria Lomeli, Matthijs Douze, Gergely Szilvasy, Loic Cabannes, Jade Copet, Sainbayar Sukhbaatar, Jason Weston, Gabriel Synnaeve,…
- #4071Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B.…
Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B. Оптимизатор AdamW. Токенизатор Llama3, словарь 128k + 256 зарезервированных токенов.
- #4067Кстати, там продолжения в блоге пошли: LoRA Without Regret…
Кстати, там продолжения в блоге пошли: LoRA Without Regret https://thinkingmachines.ai/blog/lora/ Modular Manifolds…
- #4066😥 Philosopher John Searle, well-known for his work on philosophy of mind and…
😥 Philosopher John Searle, well-known for his work on philosophy of mind and philosophy of language, has died.