Железа и правда нет, но нужно ли оно именно для обучения? Модели уже коммодити, причем цифровое и неограниченно копируемое. Клод не столько придумал новую передовую модель (хотя и ее тоже), сколько создал экосистему, как ей пользоваться. Как применять по назначению, как эффективно решать практические вопросы. По железу есть еще одно соображение. Исходя из направления и темпов развития технологии, все современные ИИ-ЦОДы скорее всего уже устарели. Те, что строятся сейчас, устарели на этапе проектирования. Люди хотят больше контекста, чтобы моделька не терялась в большой кодовой базе или в длинном обстоятельном диалоге. Люди хотят больше агентности, чтобы результат был проверен и перепроверен прежде чем выдать пользователю или прежде чем какой-то экшен произойдет. Условно х10 больше контекста и х10 больше походов взад-впреред по пайплайну, это рост на 2 порядка (!!) затрачиваемых ресурсов на средний пользовательский запрос. Это не делается на современных ВК никак. Это масштаб 1 ПБайт активной памяти на стойку. Итого - что бы ни запланировали, построили сейчас это точно не то, что будет питать ИИ 5-лет плюс. Так а стоит ли тогда вкладывать миллиарды сейчас? Вот над экосистемой надо думать! Как сделать новый шаг поверх того, что внедрили Клод и Кодекс? Нужна ли специализация под задачу или пока рано? Как добиться следующего роста эффективности в реальных практических применениях? Как решить смежные вопросы - экосистемные, легальные, как создать рабочую экономику в рамках платформ и приложений? Сейчас для нас это сильно важнее, чем иметь передовую модель.
Железа и правда нет, но нужно ли оно именно для обучения? Модели уже коммодити,…
Из этого канала
- #619Кстати, а где сейчас все промпт-инженеры? Куда они делись?
Кстати, а где сейчас все промпт-инженеры? Куда они делись?
- #620Раньше были Мамонт-Инженеры. Теперь их называют Полеонтолог Опсы #пятничное
Раньше были Мамонт-Инженеры. Теперь их называют Полеонтолог Опсы #пятничное
- #621Рано или поздно это должно было случиться: регулярно появляющиеся в медиа…
Рано или поздно это должно было случиться: регулярно появляющиеся в медиа истории о том, как так называемый «искусственный интеллект» может успешно заменить…
- #617Суверенный ИИ Маэстро Тарнавский рассуждает, можем ли мы в России такое сделать…
Суверенный ИИ Маэстро Тарнавский рассуждает, можем ли мы в России такое сделать или нет. Тут мне нравится сама постановка вопроса.
- #616Локальная сборка для ИИ на команду в 15-20 человек Review abd Describe this…
Локальная сборка для ИИ на команду в 15-20 человек Review abd Describe this home-made AI lab setup in details Мы на 4-х MacStudio с 512 unified memory подняли…