扫码查看

开源大模型推理引擎,以分页注意力机制实现高吞吐、低延迟的模型在线服务。

vLLM
微信微博邮箱复制链接