标签: deployment

1 篇文章

本地大模型部署:量化、并发与能力边界
本地部署的盈亏平衡点、按显存选模型规模、Q4_K_M 为何是量化甜点、llama.cpp 与 vLLM 的取舍、KV cache 才是并发上限的真正限制、OpenAI 兼容接口的无感切换、以及本地 8B 模型的四条能力短板与混合架构。