"Короткий комментарий про длинные контексты. Сейчас уже многие модели поддерживают контекст размером 128k+, некоторые типа Gemini даже 1-2M. Но есть много подтверждений тому, что эффективный контекст (когда модель держит ещё нормальное качество) сильно ниже. AI21 показывали это для своей Jamba (https://t.me/gonzo_ML/2914). Много разных бенчмарков с вариациями needle-in-a-haystack демонстрируют что-то такое, например, BABILong (https://github.com/booydar/babilong). Что интересно в этих бенчмарках, это не только то, насколько хороша (или плоха) модель на пределе своего контекста, а как быстро ухудшается качество даже на казалось бы маленьких длинах типа 4-32k, где предел был несколько лет назад. Это видно и в таблице BABILong, это было видно в работе “Eureka: Evaluating and Understanding Large Foundation Models“ (https://arxiv.org/abs/2409.10566), это же видно и в свежей работе “NoLiMa: Long-Context Evaluation Beyond Literal Matching“ (https://arxiv.org/abs/2502.05167). В общем, по-прежнему не работает тема ""запихну всё в один большой промпт"". Ну как не работает, технически работает, но продуктово... Так что продолжаем пилить на более короткие куски и вообще переходить к специализированным агентам, которые в стиле Unix way делают одну вещь, но хорошо. In the meantime, я вчера попробовал применить Gemini 2.0 Flash для анализа статей с arxiv, попробовал на статье про DeepSeek-R1, которую уже разбирал. Ну в целом неплохо, и саммари генерит лучше, чем абстракт статьи, и на вопросы вполне неплохо отвечает, действительно суть выделяет. Что больше всего мне понравилось, это что работа идёт сразу на уровне PDF, не надо ничего парсить. И особенно порадовала скорость — один запрос к 22-страничному PDF отрабатывает за 6-7 секунд, без всякого кеширования. Когда кеширование включат для Gemini 2.0 должно быть ещё быстрее (и дешевле). Плохо, что у Гугла пока нет единообразия в поддерживаемых фичах. PDF поддерживает Gemini 2.0 Flash, ризонинг поддерживает Gemini 2.0 Flash Thinking, а кеширование работает только для Gemini 1.5. Хотелось бы одновременно всё это заюзать и сразу для набора статей. Ну ладно, переходный момент, вопрос времени. Пост со ссылками на код тут: https://gonzoml.substack.com/p/analyze-research-papers-with-gemini"