Там это... Ребята из Саканы выложили своего оптимизатора торч кода для видеокарт. The AI CUDA Engineer: Agentic CUDA Kernel Discovery, Optimization and Composition https://sakana.ai/ai-cuda-engineer/ Это фреймворк с ллмкой и эволюционкой который транслирует торч в оптимизированные куда кернелы. Ну и написали, что иногда код на выходе получается 10x-100x быстрее. Выложили статью с примерами кернелов. Ребятки в интернете додумались прогнать кернелы через o3-mini и спросить, есть ли там проблемы. o3-mini проблемы нашла. Суть была в том, что AI CUDA Engineer также генерит и тестовый код для запуска алгоритма который получился. И в конкретном примере с обсчетом матрицы запускался обсчет всего одной строки в матрице. Внесли фиксы в код запуска и запустили кернел он оказался ~3 раза медленнее (вместо большого ускорения). Такие дела. Надеюсь что ребята в Сакане все перепроверят ну и мб апдейт какой выложат) Вот тут разборки с фиксами: https://x.com/giffmana/status/1892510741242036468 PS покайфу собираем все что с мл/ии связано в группе https://t.me/researchim
Там это... Ребята из Саканы выложили своего оптимизатора торч кода для…
Из этого канала
- #967"🌸MLGym – открытый фреймворк и бенчмарк для Агентов в автоматизации ML-задач🌸…
"🌸MLGym – открытый фреймворк и бенчмарк для Агентов в автоматизации ML-задач🌸 #nlp #проnlp #nlppapers Сегодня, под конец этой насыщенной недели, мы с коллегами…
- #968rl... rl всегда возвращается это еще из очень олдовых экспериментов хардмару,…
rl... rl всегда возвращается это еще из очень олдовых экспериментов хардмару, но ржомба Если убрать все ограничения конструкции, оптимизатор придумал…
- #969Ребята на https://www.alphaxiv.org/ завезли o3-mini с которой можно по статьям…
Ребята на https://www.alphaxiv.org/ завезли o3-mini с которой можно по статьям общаться, вот это прикольно
- #965HuggingFace 🤗 выложили The Ultra-Scale Playbook: Training LLMs on GPU Clusters…
HuggingFace 🤗 выложили The Ultra-Scale Playbook: Training LLMs on GPU Clusters https://huggingface.co/spaces/nanotron/ultrascale-playbook - это интерактивный…
- #964Qwen2.5-7B-Instruct-Tool-Planning-v0.1 Первый vikhr обученный на Function…
Qwen2.5-7B-Instruct-Tool-Planning-v0.1 Первый vikhr обученный на Function Calling а так же Tool planing! Модель обучена преимущественно на английском и это…