Вот наконец и продукт доехал Introducing Tinker: a flexible API for fine-tuning language models. Write training loops in Python on your laptop; we'll run them on distributed GPUs. Private beta starts today. We can't wait to see what researchers and developers build with cutting-edge open models! https://thinkingmachines.ai/tinker/ https://x.com/thinkymachines/status/1973447428977336578 Today we launched Tinker. Tinker brings frontier tools to researchers, offering clean abstractions for writing experiments and training pipelines while handling distributed training complexity. It enables novel research, custom models, and solid baselines. Excited to see what people build. https://x.com/miramurati/status/1973498366521954774
Вот наконец и продукт доехал Introducing Tinker: a flexible API for fine-tuning…
Из этого канала
- #4070Stochastic activations Maria Lomeli, Matthijs Douze, Gergely Szilvasy, Loic…
Stochastic activations Maria Lomeli, Matthijs Douze, Gergely Szilvasy, Loic Cabannes, Jade Copet, Sainbayar Sukhbaatar, Jason Weston, Gabriel Synnaeve,…
- #4071Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B.…
Обучают dense декодеры с GQA, RMSNorm + pre-norm, RoPE. Модели 1.5B и 3B. Оптимизатор AdamW. Токенизатор Llama3, словарь 128k + 256 зарезервированных токенов.
- #4086Новую архитектуру подвезли! ‘Dragon Hatchling’ (BDH) построена на принципах…
Новую архитектуру подвезли! ‘Dragon Hatchling’ (BDH) построена на принципах распределённых графовых моделей мозга, при этом есть GPU-friendly имплементация.
- #4068Что-то интересное Ring-1T-preview: Deep Thinking, No Waiting The first 1…
Что-то интересное Ring-1T-preview: Deep Thinking, No Waiting The first 1 trillion open-source thinking model https://huggingface.co/inclusionAI/Ring-1T-preview
- #4067Кстати, там продолжения в блоге пошли: LoRA Without Regret…
Кстати, там продолжения в блоге пошли: LoRA Without Regret https://thinkingmachines.ai/blog/lora/ Modular Manifolds…