DeepSeek-R1 671B
Полная MoE-модель для рассуждений, математики и кода. Веса распределяются между восемью H200.

SYS-821GE-TNHR · 8U · 8 × H200 SXM
GPU-сервер Supermicro для обучения моделей, распределённого инференса и HPC. Платформа NVIDIA HGX объединяет восемь H200 SXM с 141 ГБ HBM3e на каждом ускорителе через NVLink и NVSwitch. Корпус 8U с воздушным охлаждением. Процессоры, оперативная память, накопители и сеть подбираются под ваш проект.
Подготовим предложение под вашу комплектацию.
Отправная точка для выбора оборудования под вашу задачу.
Конфигурация: весь сервер с 8 × H200 SXM по 141 ГБ, всего 1128 ГБ HBM3e. Веса распределяются между GPU. Это оценка для инференса по объёму памяти, а не аппаратный тест. Контекст, KV-кэш, параллельные запросы и среда запуска требуют дополнительной памяти; обучение рассчитывается отдельно.
Полная MoE-модель для рассуждений, математики и кода. Веса распределяются между восемью H200.
Большая языковая модель для текстовых ассистентов. 16-битные веса распределяются между GPU сервера.
MoE-модель для текста, кода и рассуждений. В памяти размещаются все 235B параметров, с распределением между GPU.
BF16 — 16-битные веса. FP8 — 8-битная квантизация, которая сокращает расход памяти. Название модели ведёт на страницу её разработчика.
Примеры — оценка по памяти для инференса, а не результаты тестов на этом оборудовании. Дополнительно нужна память для контекста и среды запуска. Итог зависит от ПО, длины контекста и числа запросов; обучение и дообучение требуют отдельного расчёта. Подробнее о памяти
Карточка относится к конфигурации с H200 SXM, а не к отдельным H200 NVL PCIe-картам. CPU, RAM, SSD и сетевые адаптеры согласуются отдельно. Перед поставкой уточняются питание, охлаждение стойки и условия onsite-сервиса.