На чем написан ChatGPT под капотом? Пара инсайтов от инженеров OpenAI __Контакты и связи нашего коммьюнити обширны 🤝. Одного хорошего человека позвали на OpenAI devday, где он смог поговорить со множеством инженеров.__ Интересно, что народ из OpenAI используют очень простые вещи для построения своих систем. Даже, если это ChatGPT и 800M пользователей: Python, FastAPI, Kafka, Temporal Temporal - это весьма интересная штука, которая позволяет реализовать засыпающие процессы, которые устойчивы к падениям и проблемам. В том числе и разнообразные бизнес-процессы. Кода очень много, он монолитный. Приходится работать на Маках в 128GB, да и то тяжко. Еще забавно, что в OpenAI не выключают GPU кластеры на ночь, просто крутят их на 100% загрузке круглые сутки. Т.к. иначе будет очень сложно разворачивать их обратно - много проблем и обвалов. Кстати, плавящиеся GPU - это не просто мем. У них реально были проблемы с коннекторами и компоненты, которые плавились. Кстати, WebUI часть ChatGPT написана на Remix v2 (React Router v7). Переехали туда с NextJS год назад. В общем, все очень брутально и минималистично. Иначе OpenAI не смогла бы так быстро стать крупнейшей в мире частной компанией (по данным на 3 октября). Ваш, @llm_under_hood 🤗
На чем написан ChatGPT под капотом? Пара инсайтов от инженеров OpenAI Контакты…
Из этого канала
- #677Давайте добавим колонку MED в LLM бенчмарк! 🧬🤝 Текущая версия моего LLM…
Давайте добавим колонку MED в LLM бенчмарк! 🧬🤝 Текущая версия моего LLM бенчмарка основана на кейсах внедрения в бизнес-проекты.
- #678"Самая главная фишка LLM - это то, как они меняют саму экономику работы.…
"Самая главная фишка LLM - это то, как они меняют саму экономику работы. Вместо того, чтобы делать все руками, можно выделять простые и повторяющиеся вещи и…
- #679DDD + LLM + SGR = ❤️🔥 Сюрприз от организаторов KanDDDinsky в Берлине! В…
DDD + LLM + SGR = ❤️🔥 Сюрприз от организаторов KanDDDinsky в Берлине! В четверг, в одном трэке с Эриком Эвансом, я расскажу несколько историй успешных…
- #675"Видео доклада ""Schema-guided reasoning: как заставить LLM быть умнее"" Эту…
"Видео доклада ""Schema-guided reasoning: как заставить LLM быть умнее"" Эту запись сделали и выложили ребята из @MadMLTalks…
- #674Дайджест радостных новостей про Schema Guided Reasoning (SGR) (1) Прикладываю…
Дайджест радостных новостей про Schema Guided Reasoning (SGR) (1) Прикладываю слайды (ссылка) с презентации @MadMLTalks про SGR.