首页/.../标签/vLLM

vLLM

5 篇文档 | 2 个模块

AI工程4

vLLM服务内部：PagedAttention、连续批处理、分块预填充
投机解码推理服务器
端到端微调管线从数据到SFT到DPO到服务
自托管服务选择 — llama.cpp、Ollama、TGI、vLLM、SGLang

大语言模型1

推理优化