我是在一台高性能服务器上部署的,有8张H20显卡,内存有2TB,4个固态硬盘,每个固态硬盘可用容量为3.5TB
qwen3发布后,我立马就用vllm部署了,而且是部署参数量最大的模型,有2350亿参数。用vllm本地部署qwen3满血版
2025-04-29
浏览407
登录后评论
评论
分享