1/6
- 下载图片
- 复制图片
云云
DeepSeek要开源整体推理引擎这是赶在OpenAI这周大放能力之前要再截胡一次？
从Github上的说明看DeepSeek过去推理框架用的vLLM一年前的版本，并且根据内部业务做了大量的魔改，后续打算开源出来的部分也计划解藕业务后和社区合作整合到开源项目中。
可选开源项目主要就是vLLM和sglang，按理说ds用的vLLM，和vLLM去做整合应该更容易，但是vLLM有一个PD分离的项目是和kimi的mooncake在合作，ds也有pd分离的整体体系，会不会冲突？当然如果是更后端的backend可能还好。
或者开辟新路和sglang合作，也不是不行，毕竟sglang在deepseek r1这一波开源上跟的比vLLM紧，不少公司都是今年这波r1潮盲选的sglang。
DeepSeek的项目也pr最后也看出来，一开始是指定vLLM+SGLang，以后把这个支持定义扩的更广，但是估计还是从这两项目开始，毕竟影响力最大。
不管怎么样，推理成本要继续大幅降低了，良心企业，大好事。
每日精选
从Github上的说明看DeepSeek过去推理框架用的vLLM一年前的版本，并且根据内部业务做了大量的魔改，后续打算开源出来的部分也计划解藕业务后和社区合作整合到开源项目中。
可选开源项目主要就是vLLM和sglang，按理说ds用的vLLM，和vLLM去做整合应该更容易，但是vLLM有一个PD分离的项目是和kimi的mooncake在合作，ds也有pd分离的整体体系，会不会冲突？当然如果是更后端的backend可能还好。
或者开辟新路和sglang合作，也不是不行，毕竟sglang在deepseek r1这一波开源上跟的比vLLM紧，不少公司都是今年这波r1潮盲选的sglang。
DeepSeek的项目也pr最后也看出来，一开始是指定vLLM+SGLang，以后把这个支持定义扩的更广，但是估计还是从这两项目开始，毕竟影响力最大。
不管怎么样，推理成本要继续大幅降低了，良心企业，大好事。
每日精选
2025-04-15
浏览85
每日精选
登录后评论
1
评论
分享