Новый язык для экономного по токенам общения LLM между собой, BabelTele. Ещё не латенты, но уже и не человеческий язык, а другие модели понимают. Абзац про фотосинтез превращается в `光合: CO2+H2O::(ox/red)<>O2!+Glucose.💧-e-,CO2+e-`. Хотя я слышал некоторые чем-то таким общаются в соцсетях. Наверное, скоро переведут на него Википедию. Large Language Models Do Not Always Need Readable Language __Jiayi Zhu, Haoxuan Peng, Junxi Wang, Liang Ke, Chen Zhang, Linfeng Zhang__ Статья: https://arxiv.org/abs/2606.19857 Ревью: https://arxiviq.substack.com/p/large-language-models-do-not-always Код: N/A Модель: N/A # TL;DR ЧТО сделали: Авторы представили BabelTele — фреймворк для извлечения высокоплотных, ориентированных на модели и нечитаемых человеком текстовых представлений. Он оптимизирует сжатие контекста для общения между LLM без необходимости файнтюнинга или изменения архитектуры. ПОЧЕМУ это важно: Исследование доказывает, что читаемость для человека и декодируемость для модели можно разделить. LLM способны обрабатывать сильно сжатые символьные и мультиязычные строки (сокращая расход токенов на величину до 72.1% при сохранении 99.5% семантической точности) на разных архитектурах в zero-shot режиме. Это меняет парадигму интерфейсов LLM от человекоцентричного естественного языка к машинно-родному общению. Для практиков: BabelTele позволяет значительно сократить расходы на API и снизить задержки в мультиагентных системах или RAG-пайплайнах с длинным контекстом за счёт сжатия промптов в плотные символьные последовательности, которые другие LLM понимают «из коробки». 📖👇 : https://t.me/gonzo_ML_podcasts/4219
Новый язык для экономного по токенам общения LLM между собой, BabelTele. Ещё не…
Из этого канала
- #5647+1 работа про несимметричный трансформер. Был недавно ><former, а теперь…
+1 работа про несимметричный трансформер. Был недавно ><former, а теперь трансформер с косинусным затуханием ширины.
- #5652Агентная генерация качественной синтетики. По сути почти старая добрая зона…
Агентная генерация качественной синтетики. По сути почти старая добрая зона проксимального развития. Но с эволюционным мета-циклом.
- #5657Снова заход на неавторегрессионные модели (здесь потоковые модели, flow models)…
Снова заход на неавторегрессионные модели (здесь потоковые модели, flow models) и валидация результата через использование неподвижной точки (похоже на идею из…
- #5637Мы неправильно готовили GPU всё это время! MegaTrain: Full Precision Training…
Мы неправильно готовили GPU всё это время! MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU Zhengqing Yuan, Hanchi…
- #5631Tech.report по DiffusionGemma ещё не вышел, а статьи с анализом уже выходят.…
Tech.report по DiffusionGemma ещё не вышел, а статьи с анализом уже выходят. How Transparent is DiffusionGemma? Joshua Engels, Callum McDougall, Bilal…