Вчера прошел OpenAI DevDay. Ребята не собираются уступать лидерские позиции ни другим конкурентам, ни опен-сорсу. ❇️ Выпустили GPT-4 Turbo с 128К контекстом. На сколько я знаю, это самый большой контекст для промышленных LLM на сегодня. In-house open source LLMs нервно курят в сторонке, т.к. чтобы обучать модель с таким контекстом нужно дорогущее железо — минимум 1 Тб GPU-памяти, а это 13 карт A100 по 80 Гб стоимостью $200 000+ ❇️ Базу обновили до апреля 2023 г (раньше модели были обучены на данных до 2021 года). ❇️ Цены снизили в среднем в 2.5 раза. Свои fine-tune модели теперь доступнее. Серьезно прокачали API: ❇️ Добавили Threads — теперь API поддерживает состояния, т.е. не нужно самому управлять контекстом и при каждом новом запросе отправлять предыдующую историю. Можно теперь отправлять новые запросы в отдельный поток (как в чате), модель будет видеть историю из этого потока. ❇️ Добавили вызов внешних функций. Теперь проще делать агентов, которые умеют взаимодействовать с API и совершать действия во внешнем мире. ❇️ Встроенный интерпретатор кода на Python. Теперь LLM может сгенерировать код и выполнить его. Например, сделать сложные расчеты и выдать пользователю результат. Сделали шаг в сторону экосистемы: ❇️ Custom Models — теперь можно создавать свою узко-специализированную модель под разные задачи / предметные области. Ее можно обучать на основе своих данных. Для этого есть простой конструктор таких моделей. ❇️ Маркетплейс — свои модели затем можно будет публиковать в их Store, и получать часть дохода от их использования. Все это выглядит очень интересно для разработчиков. Зарождается новый рынок.