vllm推理deepseek-v4-pro满血模型

  1. 模型介绍
  2. 实验方案
    1. 1. 实验器材
    2. 2. 部署过程
    3. 3. benchmark测试

相关的文章推荐

deepseek-ai/DeepSeek-V4-Pro | vLLM Recipes

模型介绍

  • hf模型权重

deepseek-ai/DeepSeek-V4-Pro · Hugging Face

Model #Total Params #Activated Params Context Length Precision Download
DeepSeek-V4-Flash-Base 284B 13B 1M FP8 Mixed HuggingFace | ModelScope
DeepSeek-V4-Flash 284B 13B 1M FP4 + FP8 Mixed* HuggingFace | ModelScope
DeepSeek-V4-Pro-Base 1.6T 49B 1M FP8 Mixed HuggingFace | ModelScope
DeepSeek-V4-Pro 1.6T 49B 1M FP4 + FP8 Mixed* HuggingFace | ModelScope

实验方案

1. 实验器材

2台8XH200机器才能完整部署DeepSeek-V4-Pro模型

2. 部署过程

3. benchmark测试

github