llama.cpp 与 vLLM 自建推理免费开源，显存需求与部署指南自建推理
本地部署开源，CPU / GPU 通吃；vLLM 适合高并发批量推理
要榨性能或做服务化部署时的选择。硬件参考：8B-Q4 约需 6–8GB 显存，14B-Q4 约 10–12GB，32B-Q4 约 20–24GB。
生效中👍 0 · 👎 0 · ❓ 0 · 💬 0
LM Studio 免费本地部署：图形界面开箱即用，自带 OpenAI 兼容接口图形界面
本地部署免费，内置模型浏览器 + 本地 OpenAI 兼容服务器（localhost:1234/v1）
不想敲命令就用它：自动检测显存并推荐量化档位，第三方工具直接指向本地端口即可离线运行。
生效中👍 0 · 👎 0 · ❓ 0 · 💬 0
Ollama 免费本地部署：一条命令拉起，无限量离线推理命令行 / 本地服务
本地部署下载即用，本地推理零 token 成本、无限量、可离线
一条命令拉起 Qwen / Llama / DeepSeek 蒸馏版；16GB 内存可跑 7B–8B 的 Q4 量化。自带 OpenAI 兼容端口，指过来就能替换云端 API。
生效中👍 0 · 👎 0 · ❓ 0 · 💬 0