NVIDIA Project Digits - персональный AI сервер на ладошке. NVIDIA показала компактную AI платформу стоимостью в 3k USD, которая может запускать модели размером до 200B. А если соединить две машины - до 405B. На борту - GB10 Grace Blackwell чип. У чипа может быть до 128 GB unified памяти (похоже на маки). На борту крутится DGX OS и запускается весь софт NVIDIA. Машинка может использоваться отдельно или подключаться к компьютеру. Получается такой DGX сервер на минималках. В продаже — начиная с Мая. Это может быть выгодным вариантом для компаний, которые хотят протестировать локальных AI ассистентов без покупки большого сервера с GPU. Скажем, для небольших AI стартапов в EU, которым нужно работать с личными данными или секретами компаний - это очень выгодное решение. На заточку под работу с RAG-ами еще намекает место для данных - до 4TB flash storage на борту. У вас есть проекты, где бы хорошо зашла такая машина? Ваш, @llm_under_hood 🤗
NVIDIA Project Digits - персональный AI сервер на ладошке. NVIDIA показала…
Из этого канала
- #479LLM Benchmark - December 2024 Вышел полный отчет по бенчмаркам моделей в…
LLM Benchmark - December 2024 Вышел полный отчет по бенчмаркам моделей в business automation за декабрь 2024.
- #480Sam Altman недавно написал, что ChatGPT pro при цене в 200$ в месяц внезапно…
Sam Altman недавно написал, что ChatGPT pro при цене в 200$ в месяц внезапно оказался убыточен для OpenAI.
- #481Кейс - поиск ошибок в строительных заказах на покупку Давно не было разборов…
Кейс - поиск ошибок в строительных заказах на покупку Давно не было разборов кейсов. Давайте расскажу про один из текущих.
- #477"Как тестировать систему с LLM под капотом? Как бенчмаркать разные LLM? Давайте…
"Как тестировать систему с LLM под капотом? Как бенчмаркать разные LLM? Давайте попробуем разобраться.
- #476ChatGPT o1 pro - и будущее остальных моделей Пара заметок про то, как…
ChatGPT o1 pro - и будущее остальных моделей Пара заметок про то, как возможности o1 pro, скорее всего, повляют на развитие моделей в целом.