"Шажок на пути к автоматической науке GIANTS: Generative Insight Anticipation from Scientific Literature __Joy He-Yueya, Anikait Singh, Ge Gao, Michael Y. Li, Sherry Yang, Chelsea Finn, Emma Brunskill, Noah D. Goodman__ Статья: https://arxiv.org/abs/2604.09793 Код: https://github.com/joyheyueya/giants Модель: https://huggingface.co/giants2026 Ревью: https://arxiviq.substack.com/p/giants-generative-insight-anticipation # TL;DR ЧТО сделали: Авторы формализуют задачу ""предвосхищения инсайтов"" (insight anticipation) — предсказания главной новизны будущей научной статьи исключительно по саммари её основополагающих ""родительских"" работ. Для этого собрали датасет GiantsBench на 17 тысяч примеров и обучили GIANTS-4B, языковую модель на 4 миллиарда параметров, прошедшую файнтюнинг с помощью обучения с подкреплением (RL), где в качестве награды выступает семантическая близость. ПОЧЕМУ это важно: Работа показывает, что способность синтезировать научную литературу не масштабируется линейно только за счёт размера модели. Изолировав этап концептуального синтеза от шума открытой генерации идей, авторы доказывают, что специализированное RL на небольших open-weight моделях сильно превосходит огромные SOTA-модели в целенаправленных задачах на рассуждение. Для практиков: Для тех, кто разрабатывает агентов для научных открытий или проверяемые RAG-системы, предложенный пайплайн (ограниченный контекст + GRPO с семантическим ревордом) — это отличный шаблон. Он заставляет небольшую модель делать строгий концептуальный синтез, а не галлюцинировать абстрактными идеями. Подробнее тут: https://t.me/gonzo_ML_podcasts/3311"
"Шажок на пути к автоматической науке GIANTS: Generative Insight Anticipation…
Из этого канала
- #5235Свежак от DeepSeek https://github.com/deepseek-ai/TileKernels Tile Kernels…
Свежак от DeepSeek https://github.com/deepseek-ai/TileKernels Tile Kernels Optimized GPU kernels for LLM operations, built with TileLang.
- #5236Про важность харнесса на примере Клод Кода:…
Про важность харнесса на примере Клод Кода: https://www.anthropic.com/engineering/april-23-postmortem Продолжение темы https://t.me/gonzoML/5209
- #5237Разбор архитектуры свежего DeepSeek-V4. Впечатляет вот это: на контексте в…
Разбор архитектуры свежего DeepSeek-V4. Впечатляет вот это: на контексте в миллион токенов V4 требует всего 27% FLOPs при инференсе одного токена и лишь 10%…
- #5228Прикольный подход к оценке моделей через тензорные разложения. Для 3D тензора…
Прикольный подход к оценке моделей через тензорные разложения. Для 3D тензора <навык модели> <сложность промпта> <особенности оценщика> мы сначала выучиваем…
- #5224Давно мы про табличный ML не писали! Selecting Feature Interactions for…
Давно мы про табличный ML не писали! Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models Jingyun Jia, Chandan Singh,…