需求

需要一个本地视觉模型处理图片，要求数据不出服务器（隐私敏感场景）： 8GB 内存、2 核 CPU、无 GPU 的阿里云 ECS。7B 以上模型跑不动， MiniCPM-V 4.6（约 4B 参数 + 视觉编码器）正好压线。

为什么 Ollama

• 一条命令起服务，管理模型（导入/删除/列表）简单
• 兼容 OpenAI API 风格，客户端改 base_url 即可接入
• 支持本地 GGUF 模型导入，不需要预先转换

部署步骤

# 1. 下载 Ollama 免安装版（Windows zip，0.32.x）
# 2. 启动服务（注意：安装器版在 Server 上会卡死，用 zip 版）
ollama.exe serve

# 3. 导入 MiniCPM-V 4.6 模型
# 模型文件含 .gguf + mmproj（视觉投影）
# Ollama 0.32.5 无 PROJECTOR 指令，FROM 目录自动识别 mmproj
ollama create minicpm-v46 -f Modelfile

# 4. 验证
curl http://localhost:11434/api/tags

Modelfile 关键点

FROM ./minicpm-v-4_6-q4_k_m.gguf
FROM ./mmproj-minicpm-v-4_6-f16.gguf

新版 Ollama 支持在 Modelfile 里写两个 FROM：第一个是主模型， 第二个是 mmproj（视觉投影层）。目录里放两个文件即可自动识别。

API 调用（图片分析）

POST /api/generate
{
  "model": "minicpm-v46",
  "prompt": "描述这张图片",
  "images": [""],
  "stream": false
}

性能实测

• 单图分析：约 30-90 秒（CPU 推理，看图片复杂度）
• 内存占用：约 5-6GB（q4 量化 + 视觉编码器）
• 识别质量：界面截图、表格、中文 OCR 可用；复杂场景理解有限

运维坑

• 开机自启：注册计划任务，用绝对路径调 ollama.exe，以 SYSTEM 账户运行。
• 服务内存：8GB 机器上模型占大头，其他服务要控制内存，避免 OOM。
• 隐私价值：图片全程本地处理，不经过任何云端 API——对敏感业务是硬需求。