为什么要本地部署 LLM
使用 ChatGPT、Claude、DeepSeek 等云端 AI 已经很方便了，为什么还要本地部署？四个核心理由：
- 数据隐私：敏感数据不上传第三方
- 无网络依赖：飞机上、地下室、出差都能用
- 无 API 费用：本地一次性投入硬件，长期免费
- 无内容审查：开源模型基本没有内容限制
- 低延迟：响应速度可以低至 50ms
三种方案对比
| 方案 | 难度 | 性能 | 适合 |
|---|---|---|---|
| Ollama | 极简（一行命令） | 中 | 个人开发者、桌面用户 |
| LM Studio | 简单（图形界面） | 中 | 非技术用户 |
| vLLM | 较复杂（命令行） | 极高 | 生产环境、高并发 |
| llama.cpp | 中等 | 高（CPU 优化） | 边缘设备、Mac |
| Text Generation Inference (TGI) | 中等 | 极高 | HuggingFace 生态 |
硬件需求
按模型大小划分
| 模型 | 参数 | 最低显存 | 推荐显存 | 速度（tok/s） |
|---|---|---|---|---|
| Llama 3.2 1B | 1B | 2GB | 4GB | 50-100 |
| Llama 3.2 3B | 3B | 4GB | 6GB | 30-60 |
| Llama 3.1 8B | 8B | 6GB | 10GB | 15-30 |
| Qwen 2.5 14B | 14B | 10GB | 16GB | 10-20 |
| Llama 3.1 70B | 70B | 40GB | 80GB | 5-15 |
| DeepSeek V3 | 671B（MoE 37B） | 40GB | 2x A100 | 20-40 |
硬件配置推荐
入门：MacBook M1 / M2（8GB RAM）
- 可以跑：Llama 3.2 1B / 3B、Qwen 2.5 0.5B / 1.5B
- 速度：30-100 tok/s
- 成本：$1000-1500（已有 Mac 则零成本）
中端：NVIDIA RTX 4060 (8GB) / 4070 (12GB)
- 可以跑：Llama 3.1 8B（量化版）
- 速度：30-50 tok/s
- 成本：$300-600
高端：NVIDIA RTX 4090 (24GB)
- 可以跑：Qwen 2.5 32B、DeepSeek-Coder 33B
- 速度：20-40 tok/s
- 成本：$1500-2000
专业：NVIDIA H100 (80GB) / 多卡
- 可以跑：Llama 3.1 70B、DeepSeek V3
- 速度：30-100 tok/s
- 成本：$30000+ 或云端按小时租用（$2-5/h）
方案 1：Ollama（推荐入门）
安装
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
# Windows
下载 https://ollama.com/download/OllamaSetup.exe下载并运行模型
# 拉取模型
ollama pull llama3.1:8b
ollama pull qwen2.5:14b
ollama pull deepseek-r1:14b
# 启动对话
ollama run llama3.1:8b
# API 模式（默认监听 11434）
ollama serveAPI 调用
curl http://localhost:11434/api/generate -d {
"model": "llama3.1:8b",
"prompt": "你好",
"stream": false
}优势
- 一行命令安装
- 200+ 模型可选
- 自动量化（GGUF）
- 原生支持 OpenAI API 格式
劣势
- 性能不如 vLLM
- 不适合高并发生产
方案 2：LM Studio（图形界面）
安装
访问 lmstudio.ai 下载对应平台的安装包（macOS / Windows / Linux）。
使用流程
- 启动 LM Studio
- 在 Discover 标签搜索模型（如 Llama 3.1 8B）
- 点击 Download 下载
- 切换到 Chat 标签直接对话
- 切换到 Local Server 标签启动 OpenAI 兼容 API
优势
- 图形界面，零代码上手
- 支持 GGUF 全量化版本
- 性能监控直观
- 跨平台
劣势
- 需要图形界面（不适合服务器）
- 占用内存稍多
方案 3：vLLM（高性能生产）
安装
# 需要 NVIDIA GPU + CUDA
pip install vllm启动 OpenAI 兼容服务
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-8B-Instruct \
--port 8000 \
--tensor-parallel-size 1多卡并行（高性能）
# 4 卡并行运行 70B 模型
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-70B-Instruct \
--tensor-parallel-size 4优势
- 性能最佳（PagedAttention 算法）
- 支持高并发（数百同时请求）
- OpenAI API 完全兼容
- 支持连续批处理
- 生产级稳定性
劣势
- 需要 NVIDIA GPU + Linux
- 配置较复杂
选择什么模型
通用对话（推荐）
- Llama 3.1 8B Instruct：英文最佳
- Qwen 2.5 7B / 14B Instruct：中英双语佳
- DeepSeek R1 14B / 32B：推理能力强
编程
- Qwen 2.5 Coder 32B：代码能力顶级
- DeepSeek-Coder V2：多语言代码
- CodeLlama 70B：经典选择
多模态
- Llama 3.2 Vision：图文理解
- Qwen 2-VL：阿里多模态
- InternVL：上海 AI Lab 出品
嵌入向量
- nomic-embed-text：开源最佳
- BGE-M3：智源研究院
- MiniLM：轻量快速
性能优化
1. 量化（Quantization）
把模型权重从 FP16 压缩到 INT8 / INT4：
- FP16：原始精度，最准但占显存最多
- Q8_0：8-bit 量化，几乎无损，显存减半
- Q4_K_M：4-bit 量化，质量略降，显存只需 1/4
- Q2_K：2-bit 极致量化，仅适合 70B+ 模型
2. KV Cache 优化
vLLM 的 PagedAttention 自动优化，吞吐量提升 3-5 倍。
3. Speculative Decoding
用小模型预测大模型输出，速度提升 2-3 倍。
4. 批处理
vLLM 自动 continuous batching，多请求并行处理。
常见问题
Q: 本地部署能替代 ChatGPT 吗？
A: 通用对话能力，开源 70B 模型已接近 GPT-4。但 GPT-4o 和 Claude 在复杂推理和工具调用上仍有优势。本地适合：隐私任务、批量处理、低成本运行。
Q: 一般人需要本地部署吗？
A: 如果你是普通用户，直接用 ChatGPT/Claude/DeepSeek 即可。本地部署适合：开发者、企业、研究者、对隐私有要求的用户。
Q: Mac 能部署吗？
A: 可以！Apple Silicon（M1/M2/M3/M4）有强大的 Neural Engine。8GB Mac 跑 7B 模型，16GB Mac 跑 14B 模型。Ollama / LM Studio 都原生支持。
Q: 如何接入 Cursor / VSCode？
A: Ollama 和 vLLM 都提供 OpenAI 兼容 API。在 Cursor 设置中将 API 端点改为 http://localhost:11434/v1 即可使用本地模型。
本地 + 云端最佳组合
最佳实践是本地 + 云端组合：
- 本地：日常对话、敏感数据处理、批量任务
- 云端 API：高质量回答、复杂推理、多模态
需要的云端 API 备份
即使本地部署，仍建议保留云端 AI 作为补充。通过 9DSC 九度数城：
- OpenAI API 充值：复杂任务的高质量备份
- Anthropic API 充值：Claude 强项是编程
- ChatGPT Plus / Pro 代充：日常使用最方便
- Cursor Pro 代充：可同时配置本地和云端模型
- 支持人民币、USDT 多种支付
结语
本地部署 LLM 是 2025 年开发者和重度用户的必备技能。它给你完全的隐私、零边际成本、无限制使用。
建议入门路径：先用 Ollama 在自己的 Mac 上跑 Llama 3.1 8B 体验。熟悉后根据需求升级硬件或迁移到 vLLM。
立即访问 9DSC 九度数城 获取云端 API 作为补充，与本地部署形成完美组合。