Как за $1.5 получить 24M входящих и 2.4M исходящих токенов Llama 3.3 70B на FP8? Про это прямо сейчас в чатике канала рассказывает Seva Leonov с картинками бенчмарков. Важно! Eсли заходите в чат впервые, не пропустите запрос на верификацию от нашего бота защиты от спама (иначе через 60 секунд забанит) Ссылка на обсуждение в чате. Ваш, @llm_under_hood 🤗
Как за $1.5 получить 24M входящих и 2.4M исходящих токенов Llama 3.3 70B на…
Из этого канала
- #487"Titan - альтернатива трансформерам от Google #разбор Google тут втихую выложил…
"Titan - альтернатива трансформерам от Google #разбор Google тут втихую выложил интересную работу про LLM с улучшенной памятью и потенциальным контекстом более…
- #488Что бы вы хотели знать о проблемах и задачах крупных компаний в Европе? На…
Что бы вы хотели знать о проблемах и задачах крупных компаний в Европе? На Enterprise RAG Challenge в конце февраля придет с keynote Stephan Gillich.
- #489"Какой из промптов будет давать более точный ответ? Промпты почти одинаковые,…
"Какой из промптов будет давать более точный ответ? Промпты почти одинаковые, меняется только порядок.
- #485"Одна история разработки своего Reasoning - Эпизод III - Эпизод I - Эпизод II…
"Одна история разработки своего Reasoning - Эпизод III - Эпизод I - Эпизод II Шаг 20. Поспал и посмотрел на неработающий запрос свежим взглядом.
- #484"Одна история разработки своего Reasoning - Эпизод II Продолжение Эпизода I Шаг…
"Одна история разработки своего Reasoning - Эпизод II Продолжение Эпизода I Шаг 12.