😄 и в чём он не прав

И у этого даже есть какое-никакое численное измерение. Sam Paech, автор нескольких бенчмарков, связанных с креативным письмом LLM-ок, запустил свежий бенчмарк…

Measuring Thinking Efficiency in Reasoning Models: The Missing Benchmark Вот мы говорим, что модели рассуждают перед тем, как дать ответ.

Но мне не совсем нравится этот анализ тем, что задач мало, и они во многом заезженные и типовые.

Начинаем воскресенье с плохих новостей. LMArena решила добавить прозрачности и указать, какие именно модели OpenAI и с какими настройками они тестировали.

На неделе Sama и несколько других директоров OpenAI провели ужин с репортёрами, где отвечали на их вопросы.