Мемы про муху не прекращаются. Извинити.

В крупной айти компании работает программист. Рядом на мониторе постоянно запущен оцифрованный мозг мухи и наблюдает, как он пишет код.

Дистилляция в байтовые модели открывает новые законы скейлинга. Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models Kalyani Marathe, Artidoro…

Очень прикольная работа, продолжает другую работу этих же авторов, где проблема отслеживания состояния внутри трансформеров (которое только уползает вверх и…

Про важность хороших бейзлайнов и качественную сантехнику. Sliding-Window Beats Linear Attention Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina…