Новые Mac Studio — монстры локального инференса В версии с новым чипом M3 Ultra до 512 гигабайт оперативки, с 800GB/s пропускной способности. Это позволяет запускать любые__ __LLM с минимальной квантизацией, на достаточно высоких скоростях. Ещё есть версия с M4 Max, где дают до 128 гигабайт оперативки, так же как и в последних макбуках. Жертвуя портативностью вы тут получаете заметно меньшую цену и сильно больше портов. Я давно топлю за локальный инференс, приятно видеть всё больше железа для него в массовой доступности. Несмотря на больший объём оперативки, базовые версии стоят столько же сколько предыдущее поколение — $2,000 за 36GB версию M4 Max и $4,000 за 96GB версию M3 Ultra. Но цена за старшие версии уже начинает кусаться — за 256 гигабайт придётся отдать от $5,600 и от $9500 за версию с 512 гигабайт оперативки. Но даже при такой бешенной цене, конкурентов в запуске больших моделей локально у M3 Ultra нету — в Nvidia Digits и Framework Desktop максимум 128 гигабайт оперативки, так что это конкуренты скорее M4 Max. К тому же они выйдут только через несколько месяцев, а Mac Studio релизится уже через неделю — 12 марта. @ai_newz
Новые Mac Studio — монстры локального инференса В версии с новым чипом M3 Ultra…
Из этого канала
- #3717QwQ 32B Новый опенсорс от команды Qwen из Alibaba (не путать с QwQ-Preview, это…
QwQ 32B Новый опенсорс от команды Qwen из Alibaba (не путать с QwQ-Preview, это совсем другая модель).
- #3718AI для обработки звонков Я уже писал о том, как топовые компании используют…
AI для обработки звонков Я уже писал о том, как топовые компании используют AI/ML в своей деятельности.
- #3720Создатели Reinforcement Learning получили премию Тьюринга! Эндрю Барто и Ричард…
Создатели Reinforcement Learning получили премию Тьюринга! Эндрю Барто и Ричард Саттон разработали кучу основополагающих алгоритмов в RL.
- #3715Wan 2.1 зашла на видео арену Результаты неплохие, но закрытые модели не бьёт. А…
Wan 2.1 зашла на видео арену Результаты неплохие, но закрытые модели не бьёт. А я всё ещё жду полноценного техрепорта.
- #3714Сейчас все вычисления производятся на серверах и ваш лаптоп служит вам только…
Сейчас все вычисления производятся на серверах и ваш лаптоп служит вам только для того чтобы подключиться к машине с по ssh, локально почти никто ничего уже не…