Кто быстрее превратит капекс и долг в устойчивый денежный поток, тот и в дамках Как интересно разворачивается ситуация. Интересно посмотреть спустя год ажиотажа. В общем, в начале прошлого года все ИИ-компании (и связанные с ними) росли как на дрожжах. Росли они, что примечательно, на кредитах (совокупно AI Big Tech должны кредитов на 1 трлн долларов). И сейчас инвесторы (и банки в том числе) старли осторожнее, и вот тут самое интересное. Бенефициаром тут выглядит Амазон. Я вообще восхищаюсь их моделью. Огромный магазин, который стал продавать свою инфраструктуру и по сути зарабатывает и на инфраструктуре и на продажах в магазине на этой же инфраструктуре, гениально же. Но речь о другом – когда Амазон говорит «я вкладываюсь в инфраструктуру», очень даже понятно, как он на этом заработает. Продолжение гениальности бизнес-модели. Ты вкладываешься в инфру для ИИ, но ты же на ней и зарабатываешь, даже если ИИ не выстрелит как ты ожидаешь. А если выстрелит - заработаешь еще больше :) А вот openai - тут все иначе. Они вкладывают десятки и сотни миллиардов в инфраструктуру, чтобы сделать свои модели лучше, но вообще не факт, что они смогут отбить эти инвестиции. Прогноз убытка openai на этот год (от самого openai) - 14 млрд долларов. С meta чуть иначе - они тоже вкладывают много, но у них позиция хоть и слабее, чем у амазона, но есть на чем заработать (и здесь важны окупаемость и темп окупаемости. Что нам до этого? Чисто ИИ-компаниям, видимо, придется как-то выкручиваться (затягивать пояса, менять правила подписки и повышать цены), им там еще чуть ли не триллион нужен, так что используем все те же старые добрые архитектурные тактики: ▪️Две модели в проде: основная + резервная от другого провайдера с единым абстрактным интерфейсом на адаптере и фича флагами на провайдера/модель ▪️Лимиты по проектам/ключам, фоллбэк через деградацию качества (переход на меньшую модель) вместо полного отказа ▪️Регулярные замеры и учения, чтобы переключение провайдера было максильно быстрым и безболезненным ▪️Подобрать наиболее выгодные модели под каждый решаемый класс задач, сделать маршрутизатор, который в зависимости от класса задачи роутит запрос к нужной модели В целом, получается классика тактик надежности + business continuity/disaster recovery Уже и решения подоспели: https://github.com/linto-ai/llm-gateway https://github.com/theopenco/llmgateway конг вот уже все умеет тоже: https://github.com/Kong/kong UPD: спасибо @Zulcom за еще одну ссылку https://openrouter.ai/