Ollama 免费本地部署：一条命令拉起，无限量离线推理

Ollama 启动后会在本机监听一个兼容 OpenAI 协议的接口，因此原先调用云端 API 的代码基本只需改两个东西：base_url 和模型名。

接口地址与模型名

base_url 形如 http://localhost:11434/v1，对话补全的完整路径是 /v1/chat/completions；API Key 不做校验，填任意非空字符串即可（例如 ollama）。可用模型名通过本地命令查看，输出列表里的 NAME 列就是可以直接填进请求体的模型名。

ollama list

把环境变量指向本地服务后，大多数 SDK 无需改代码即可切换过来。

export OPENAI_BASE_URL="http://localhost:11434/v1"
export OPENAI_API_KEY="ollama"

一次对话补全调用

先用 curl 验证通路，确认服务在跑、模型名没写错。请求体里的 model 必填，要与 ollama list 中的名字完全一致；messages 是对话数组，按角色区分；temperature 控制随机性，写代码类任务建议 0.2–0.3，创意写作可调到 0.8 左右；stream 设为 true 时返回增量片段，适合前端打字机效果；max_tokens 限制单次输出长度，本地小模型建议控制在 1024 以内以免显存吃紧。

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ollama" \
  -d '{
    "model": "qwen2.5:7b",
    "messages": [
      {"role": "system", "content": "你是一名简洁的技术助手"},
      {"role": "user", "content": "用一句话说明什么是模型量化"}
    ],
    "temperature": 0.3,
    "max_tokens": 256,
    "stream": false
  }'

换成 Python 后同样是标准写法，返回值结构与传统云端服务一致。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "你好，介绍一下你自己"}],
    temperature=0.3,
)
print(resp.choices[0].message.content)

限流与异常排查顺序

本地服务不存在按 token 计费的限流，典型异常是连接失败、模型缺失和显存不足。遇到报错按以下顺序自查：

• 报 connection refused 或连接超时：服务没启动，先执行 ollama serve，再确认端口 11434 没有被别的程序占用。
• 报模型不存在：模型名拼写不一致或尚未拉取，执行 ollama pull 补齐，注意区分带标签与不带标签的名字。
• 响应极慢或进程被系统杀掉：模型参数超出内存或显存，换更小的参数量或 Q4 量化版本，并调低 max_tokens 与并发数。
• 多请求同时发起后开始排队：单机算力有限，请求会串行处理，这是正常现象，属于本地部署的「软上限」，可通过降低并发或增加机器资源缓解。
• 改用局域网其他设备访问时连不上：默认只监听本机回环地址，需要将监听地址改为对外地址并放通防火墙端口，再访问对应主机 IP。