LinkReal.top
本地部署 AI 指南 2026

云 API 还是本地部署？

对比云 API 与自建硬件的总拥有成本。根据预算、隐私需求和性能要求，做出正确的选择。

云 API 年费
$2,400-$24,000
一次性硬件投入
最低 $999
开源模型数量
500K+

总拥有成本对比

自建硬件 vs 云 API — 多久回本？

轻度用户
约 1M tokens/月，1 人
云端 / 年年费 $240
硬件$999
盈亏平衡4.2 年
建议继续使用云 API
使用量低，硬件投入不划算。
重度用户
约 20M tokens/月，3 人团队
云端 / 年年费 $5,400
硬件$3,999
盈亏平衡9 个月
建议立即本地部署
第一年内即可回本。
企业级用户
约 100M tokens/月，10+ 人团队
云端 / 年年费 $28,800
硬件$12,000
盈亏平衡5 个月
强烈建议立即本地部署
节省巨大。工作站几个月就回本。
累计成本 ($) — 投影: 重度用户
Yr 1
云端
$5,400
本地
$3,999
盈亏平衡
Yr 2
云端
$10,800
本地
$3,999
Yr 3
云端
$16,200
本地
$3,999
Yr 4
云端
$21,600
本地
$3,999
Yr 5
云端
$27,000
本地
$3,999

按预算选择硬件

从迷你 PC 到企业工作站 — 选择你的档位

入门级
$999
CPUAMD Ryzen 7 / Intel Core i7
RAM32-64GB DDR5
GPURTX 4060 12GB 显存
Models7B-13B 模型 (Q4)
Speed30-50 tok/s
Use cases学习、编程助手、Ollama 实验
Detailed Specs
GPU: RTX 4060：3072 CUDA cores，加速频率 2460 MHz，GDDR6 12GB，192-bit 总线，272 GB/s 带宽，115W TDP，PCIe 4.0 x8，推荐 550W PSU
Motherboard: B650 (AMD) / B760 (Intel)：1× PCIe 4.0 x16，2× M.2 NVMe 插槽，支持 DDR5
PSU: 550W 80+ Bronze（如 Corsair CV550、Seasonic B12 BC-550）
Cooling: 风冷：AMD Wraith Spire / Intel 原装散热器用于 CPU；GPU 原装鼓风。再加 2× 120mm 机箱进/出风风扇。
Case: MicroATX 中塔（如 Fractal Pop Mini Silent、NZXT H510 Flow）：4+ 风扇位，280mm GPU 余量
Storage: 1TB NVMe SSD（PCIe 4.0，如 Samsung 980 Pro / WD SN770）用于系统 + 模型。模型需约 50-100GB；8B GGUF 约 5GB，13B 约 8GB。
价格实惠，无需额外硬件
只能跑小模型，12GB 显存瓶颈
主流台式机
$2,000-$3,000
CPUAMD Ryzen 9 / Intel Core i9
RAM64GB DDR5
GPURTX 4090 24GB 显存
Models13B-34B 模型 (Q4)，70B 可配合 CPU offload
Speed20-40 tok/s (13B)，5-10 tok/s (70B)
Use cases开发者日常使用、研究、中等规模推理
Detailed Specs
GPU: RTX 4090：16384 CUDA cores，加速频率 2520 MHz，GDDR6X 24GB，384-bit 总线，1008 GB/s 带宽，450W TDP，PCIe 4.0 x16，推荐 850W PSU
Motherboard: X670 (AMD) / Z790 (Intel)：1× PCIe 5.0 x16，3+ M.2 NVMe 插槽（1× PCIe 5.0），支持 DDR5-6000+
PSU: 850W-1000W 80+ Gold（如 Corsair RM850x、Seasonic Focus GX-850）。每个 8-pin 接口使用独立 PCIe 线缆（4090 需 3 根）。
Cooling: CPU 用 240-360mm AIO 一体水冷（如 Arctic Liquid Freezer III 360）。GPU 依赖原装三风扇轴流散热。机箱需 3+ 进风风扇，正压差风道。
Case: 全 ATX 中塔，支持 360mm+ 前置冷排（如 Fractal North XL、Lian Li Lancool III）：6+ 风扇位，360mm GPU 余量，网面前板利于进风
Storage: 2TB NVMe SSD（PCIe 4.0/5.0）：1TB 系统 + 1TB 模型分区。模型可能占 200GB+；可再加 4TB SATA SSD 做归档。
大多数用户的最佳性价比选择
24GB 显存无法跑 70B+，功耗较高
统一内存机器
$3,999
CPUAMD Ryzen AI Max+ 395 (16C/32T)
RAM128GB LPDDR5X 统一内存
GPURadeon 8060S (40 CU) + NPU 50 TOPS
ModelsDeepSeek R1 671B (Q4 MoE)，Qwen3 235B，Llama 3.1 405B (Q2)
Speed3-8 tok/s (671B)，15-25 tok/s (235B)
Use cases隐私敏感工作、离线推理、法律/医疗 AI
Detailed Specs
GPU: AMD Radeon 8060S（集成于 Ryzen AI Max+ 395）：40 RDNA 3.5 CUs，最高 2900 MHz，LPDDR5X 128GB 统一内存，256-bit 总线，256 GB/s 带宽，55W TDP（整个 SoC 可配置至 120W）。NPU：XDNA 2，50 TOPS (INT8)。
Motherboard: Mini-PC / SFF 集成主板（如 GMKtec EVO-X2、Beelink SER8）：SoC 焊接，LPDDR5X 封装于基板，1-2× M.2 NVMe (PCIe 4.0)
PSU: 外置 230-330W DC 电源适配器（迷你 PC 自带）。无需内置 PSU。
Cooling: 均热板 + 鼓风风扇（出厂安装）。保持通风口畅通；放在硬质表面，避免堆叠。可在 BIOS 中降压以降低噪音。
Case: 迷你 PC 外形（约 1L 体积，如 GMKtec EVO-X2）。可选外置 USB4 eGPU 扩展坞加装独立 GPU。
Storage: 推荐 2TB NVMe SSD (PCIe 4.0)：671B MoE Q4 单个就约 400GB。可用 USB4 外置 NVMe 扩展模型存储。
128GB 统一内存改变一切，紧凑体积
跑 671B 只有 3-8 tok/s，AMD ROCm 生态仍在成熟中
双 GPU 工作站
$10,000+
CPUAMD Threadripper / Intel Xeon
RAM128-256GB DDR5 ECC
GPU2× RTX 4090 / RTX 6000 Ada
Models70B-405B 更高精度，同时运行多个模型
Speed15-30 tok/s (70B Q4)，5-10 tok/s (405B Q4)
Use cases团队推理服务、微调、研究实验室
Detailed Specs
GPU: 方案 A — 2× RTX 4090：每卡 16384 CUDA cores，2520 MHz 加速，GDDR6X 24GB（共 48GB），384-bit，每卡 1008 GB/s，450W TDP（合计 900W），PCIe 4.0 x16，推荐 1600W PSU。 方案 B — RTX 6000 Ada：18176 CUDA cores，2520 MHz 加速，GDDR6X 48GB，384-bit，960 GB/s 带宽，300W TDP，PCIe 4.0 x16，推荐 1000W PSU（每卡）。
Motherboard: TRX50 (AMD Threadripper) / W790 (Intel Xeon W)：2× PCIe 5.0 x16（双卡同时占用时电气 x8/x8），4+ M.2 NVMe 插槽，8 通道 ECC 内存支持
PSU: 1600W-2000W 80+ Platinum/Titanium（如 Corsair AX1600i、Seasonic PRIME TX-2000）。多 GPU 稳定性优先单路设计。每个 8-pin 接口使用独立 PCIe 线缆。
Cooling: CPU 用定制开式水冷或 420mm+ AIO。GPU 需原装轴流散热器，间距 ≥1 槽位 — 必要时用 PCIe riser。服务器机箱需 4× 140mm 进风风扇。
Case: 全塔 / 机架式工作站（如 Fractal Define 7 XL、Phanteks Enthoo Pro 2，或 4U 机架）：8+ 风扇位，400mm+ GPU 余量，支持 EEB/E-ATX
Storage: 2TB NVMe SSD（系统）+ 4-8TB NVMe SSD（模型，建议 RAID 1）。模型总计可达 500GB+；可加 10TB+ HDD 归档数据集和检查点。
最高性能，可在本地训练/微调模型
成本高、功耗大、噪音大。对个人用户过剩

模型兼容性矩阵

哪些开源模型可以在什么硬件上跑？

模型入门级主流Halo工作站
Phi-4 Mini
Gemma 4 E4B
Llama 4 Scout 8B
Mistral Small 4
Qwen 3.5 27B
DeepSeek R1 Distill 32B
Gemma 4 31B Dense
Llama 4 Scout
Qwen 3.5 397B
Llama 4 Maverick
DeepSeek V4 R1
GLM-5
流畅运行可以跑（慢或量化后）无法运行

质量对比指与前沿云模型（GPT-4o、Claude 3.7 Sonnet）在推理和编程任务上的对比。实际表现因量化级别和硬件配置而异。

你是否适合本地部署？

匹配你的身份到正确的路径

隐私优先的专业人士
律师、医生，或处理专有代码
Path: 推荐本地部署，选择 AMD Halo 或双 GPU 工作站
你的数据绝不能离开电脑，云 API 无法保证这一点。
成本敏感的团队
高用量 API 用户，月花费 $500+
Path: 推荐本地部署，选择 Halo 或入门工作站
以你的用量，自建一年内即可回本。
独立开发者
使用云 API，月支出 <$50
Path: 继续使用云，本地用于实验
硬件投入不划算。用现有电脑装 Ollama 做副项目。
机器学习研究员
需要频繁微调和迭代
Path: 推荐本地部署，选择双 GPU 工作站
云端推理成本随着迭代快速累积，本地可以无限次运行。
中国用户
VPN 成本 + API 延迟 + 访问不确定性
Path: 强烈推荐本地部署
避免 VPN 依赖和延迟。本地 Qwen3 + DeepSeek R1 提供前沿能力，无需跨域问题。
轻度用户
每周用几次 ChatGPT/Claude
Path: 继续用云，不值得投资硬件
低频率使用下，$20/月订阅仍然是最好的选择。

本地 AI 软件栈

LLM 工具

Ollama
运行本地大模型最简单的方式。一键安装、模型库、兼容 OpenAI API。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
curl -fsSL https://ollama.com/install.sh | sh  # macOS/Linux
winget install Ollama.Ollama  # Windows
# Docker 替代方案：
docker pull ollama/ollama
Usage

启动服务，然后通过 CLI 或 REST API（http://localhost:11434）拉取并运行模型。

Commands
ollama pull llama3.1:8b
ollama run llama3.1:8b
ollama serve  # 启动 API 服务
ollama list  # 显示已安装的模型
Config

模型存储：/usr/share/ollama/.ollama (Linux)、~/.ollama (macOS/Windows)。设置 OLLAMA_HOST=0.0.0.0:11434 可网络访问。OLLAMA_MAX_VRAM 限制 GPU 显存占用；OLLAMA_NUM_PARALLEL 控制并发请求数。

LM Studio
图形化本地模型运行器。内置模型浏览器、聊天界面和本地推理服务器。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
# 从 https://lmstudio.ai/ 下载安装包
# macOS: brew install --cask lm-studio
# Windows: winget install LMStudio.LMStudio
Usage

打开 GUI，在应用内从 HuggingFace 浏览模型，下载后即可聊天，或启动 :1234 端口上的兼容 OpenAI 的本地服务器。

Commands
lms server start  # CLI 服务器（需先通过应用安装 lms）
lms ls  # 列出已下载的模型
lms boot  # 快速启动 GUI
Config

设置推理端口（默认 1234）。可按模型选择 GPU offload 层数。模型存储于 ~/.cache/lm-studio/models。跨平台支持 macOS、Windows、Linux。

AMD Lemonade / Ryzen AI
AMD 官方本地 AI 平台。为 Ryzen AI Halo 硬件优化，提供预配置模型包。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
# 从 https://lemonadeai.com/ 下载
# Windows 安装包；Linux 请直接使用 ROCm
pip install lemonade-sdk
Usage

启动 Lemonade GUI，选择模型包（如 Ryzen AIoptimized），点击运行。在 :8000 端口提供兼容 OpenAI 的服务器。

Commands
lemonade-server serve  # 启动 API
lemonade pull llama3.1-8b-ryzenai
lemonade devices  # 列出可用加速器
Config

可选择 NPU / GPU / iGPU 计算目标。在 GUI 中配置上下文长度和 batch size。与 Ryzen AI Max+ 395 halo 硬件搭配最佳。

llama.cpp
高性能 C++ 推理引擎。消费级硬件上性能最佳。支持 CUDA、ROCm、Metal、Vulkan。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make GGML_CUDA=1  # Linux+NVIDIA
# 或预编译版：brew install llama.cpp  # macOS
# Windows：从 GitHub 下载 release zip
Usage

编译二进制文件，下载 GGUF 模型，然后用 ./llama-cli -m model.gguf 运行。提供服务器模式，在 :8080 端口提供兼容 OpenAI 的 API。

Commands
./llama-cli -m model.gguf -p "Hello" -n 512
./llama-server -m model.gguf --port 8080 --n-gpu-layers 99
./llama-bench -m model.gguf
Config

用 --n-gpu-layers 控制 CPU/GPU 分配。--flash-attn 提升内存效率。--ctx-size 设置上下文长度。-ngl 99 完全 offload 到 GPU。编译选项：GGML_CUDA、GGML_ROCM、GGML_METAL、GGML_VULKAN。

vLLM
高吞吐量推理服务。PagedAttention 高效内存管理。适合多用户服务。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
pip install vllm  # 需要 CUDA 12.1+ 和 Python 3.9+
# 或用 Docker：
docker pull vllm/vllm-openai:latest
Usage

用 --model 启动兼容 OpenAI 的服务器，然后向 /v1/chat/completions 发送请求。支持多 GPU 张量并行。

Commands
vllm serve meta-llama/Llama-3.1-8B-Instruct --port 8000
python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-32B --tensor-parallel-size 2
curl http://localhost:8000/v1/models
Config

--tensor-parallel-size N 多 GPU 并行。--quantization awq/gptq。--max-model-len 设置上下文。--gpu-memory-utilization 0.9。--enable-lora 提供 LoRA 服务。

Open WebUI
类 ChatGPT 的本地模型 Web 界面。多用户、RAG 支持、工具集成。
适用档位: budget, mainstream, halo, workstation
Install & Usage
Install
docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL=http://host.docker.internal:11434/v1 \
  -v open-webui:/app/backend/data \
  --name open-webui ghcr.io/open-webui/open-webui:main
Usage

浏览器打开 http://localhost:3000，注册管理员账号，即可与已注册到 Ollama 或通过 OpenAI API 的任何模型对话。

Commands
docker logs -f open-webui
docker restart open-webui
# 非 Docker 安装：pip install open-webui && open-webui
Config

WEBUI_AUTH=true 启用用户账户。配置 RAG 需 embedding 模型 + ChromaDB。Docker→主机访问用 OLLAMA_BASE_URL=http://host.docker.internal:11434。

部署指南

按硬件档位选择适合的部署方案

Docker 快速启动
# 1. 拉取并运行 Ollama
docker run -d \
  --gpus all \
  --name ollama \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama

# 2. 拉取适合 12GB 显存的模型
docker exec -it ollama ollama pull llama3.1:8b

# 3.（可选）加装 Open WebUI 提供聊天界面
docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL=http://host.docker.internal:11434/v1 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main
裸机安装
# 1. 安装 NVIDIA 驱动 (Ubuntu/Debian)
sudo apt update && sudo apt install -y nvidia-driver-550
sudo reboot

# 2. 安装 CUDA Toolkit 12.x
wget https://developer.download.nvidia.com/compute/cuda/12.5.0/local_installers/cuda_12.5.0_555.85_linux.run
sudo sh cuda_12.5.0_555.85_linux.run

# 3. 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 4. 拉取并运行模型
ollama pull llama3.1:8b
ollama run llama3.1:8b
性能调优

入门级（RTX 4060 12GB）优化： • 使用 Q4_K_M 量化 — 8B 占 6GB，13B 占 9GB • 关闭浏览器/GUI 应用释放显存（显示需 1-2GB） • 设置 --ctx-size 4096 限制上下文内存 • 13B 模型：用 --n-gpu-layers 28（部分 offload） • 如需完全 GPU offload 13B，可考虑 Q3_K_M • NVMe SSD 必备 — HDD 加载模型需数分钟 • 最低 32GB RAM，CPU offload 场景建议 64GB

性能基准测试

不同硬件档位和模型下的实际 tokens/秒

模型量化入门 (RTX 4060)主流 (RTX 4090)Halo (RyAI Max+ 395)工作站 (2×4090)
Llama 3.1 8BQ4_K_M45 tok/s120 tok/s85 tok/s200 tok/s
Qwen3 32BQ4_K_M—35 tok/s28 tok/s70 tok/s
Llama 3.3 70BQ4_K_M—8 tok/s (offload)15 tok/s30 tok/s
DeepSeek R1 671BQ4 MoE——5 tok/s12 tok/s
Qwen3 235BQ4 MoE——18 tok/s35 tok/s

量化影响：质量 vs 速度

量化级别之间的权衡（基于 Llama 3.3 70B，RTX 4090）

LevelVRAMSpeedQuality
FP16 (16-bit)140 GBN/A（无法装入）100% 基准
Q8 (8-bit)70 GBN/A（单卡无法装入）约 FP16 的 99%
Q6 (6-bit)53 GBN/A（多 GPU）约 FP16 的 98%
Q5_K_M (5-bit)44 GB12 tok/s（offload）约 FP16 的 97%
Q4_K_M (4-bit)40 GB8 tok/s（部分 offload）约 FP16 的 95%
Q3_K_M (3-bit)31 GB18 tok/s约 FP16 的 90%
Q2_K (2-bit)23 GB25 tok/s约 FP16 的 80%

基准基于 llama.cpp 在 2026 年 6 月驱动下测量。实际速度因提示长度、batch size 和系统配置有 ±20% 浮动。'—' 表示无法运行或不实际（<1 tok/s）。

安全与远程访问

通过适当的鉴权和加密安全地暴露你的本地 AI

安全隧道（零配置）

无需开端口即可远程访问本地 AI 的最简方式

Tailscale（推荐）
基于 WireGuard 的 mesh VPN。每台设备获得私有 IP。无需端口转发。
Install
curl -fsSL https://tailscale.com/install.sh | sh
Usage
tailscale up  # 通过浏览器认证
# 你的机器现在拥有 100.x.x.x IP，可从其他设备访问
个人使用免费（最多 100 台设备）。流量端到端加密。
Cloudflare Tunnel
通过 Cloudflare 边缘网络暴露本地服务。无需公网 IP。
Install
curl -L https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64 -o /usr/local/bin/cloudflared && chmod +x /usr/local/bin/cloudflared
Usage
cloudflared tunnel login  # 认证
cloudflared tunnel create my-ai
cloudflared tunnel route dns ai.yourdomain.com my-ai
cloudflared tunnel run my-ai
免费层每天 50 MB。可叠加 Cloudflare Access 实现 SSO 鉴权。

带 HTTPS 的反向代理

在单域名上以 TLS 暴露多个 AI 服务

Nginx Config
# /etc/nginx/sites-available/ai.conf
server {
    listen 443 ssl http2;
    server_name ai.yourdomain.com;
    
    ssl_certificate /etc/letsencrypt/live/ai.yourdomain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/ai.yourdomain.com/privkey.pem;
    
    # Ollama API
    location /api/ {
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_buffering off;  # 流式响应必备
    }
    
    # Open WebUI
    location / {
        proxy_pass http://127.0.0.1:3000;
        proxy_set_header Host $host;
    }
    
    # 基础鉴权
    auth_basic 'Restricted';
    auth_basic_user_file /etc/nginx/.htpasswd;
}
Certbot
# 获取免费 SSL 证书
sudo certbot --nginx -d ai.yourdomain.com
# 自动续期：
sudo certbot renew --dry-run

防火墙规则

锁定你的 AI 服务器以防止未授权访问

# 仅允许 SSH、HTTP、HTTPS 和 Tailscale
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw allow 11434/tcp  # 仅在已有反向代理 + 鉴权时
sudo ufw enable
切勿在无鉴权的情况下将 Ollama (:11434) 直接暴露到公网。它没有内置鉴权。

多用户访问控制

安全地与团队共享本地 AI

Open WebUI（内置鉴权）
内置用户管理和管理面板。支持 OAuth、API key 和用量限制。
Config
docker run -d -p 3000:8080 -e WEBUI_AUTH=true -e OPENAI_API_BASE_URL=http://host.docker.internal:11434/v1 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
LDAP/SAML（企业）
适用于已有身份提供者的团队。Open WebUI 支持 LDAP/Active Directory。
Config
设置环境变量：ENABLE_LDAP=true, LDAP_SERVER_HOST=ldap.yourcorp.com, LDAP_BIND_DN=..., LDAP_BIND_PASSWORD=...

常见问题排查

本地 AI 最常见问题的解决方案

GPU 与驱动问题
未找到 CUDA / 未检测到 GPUcritical
1. 验证 nvidia-smi 可用：nvidia-smi
2. 安装 CUDA 12.x：https://developer.nvidia.com/cuda-downloads
3. 设置 LD_LIBRARY_PATH=/usr/local/cuda/lib64
4. Docker：使用 --gpus all 或 nvidia-container-toolkit
ROCm 未检测到 AMD GPU（Halo 档位）critical
1. 验证：rocminfo | grep gfx
2. Ryzen AI Max+ 395 需 ROCm 6.1+
3. 设置 HSA_OVERRIDE_GFX_VERSION=11.0.0
4. Docker：使用 rocm/pytorch:latest 镜像
CUDA out of memory（显存不足）high
1. 使用更低量化：ollama run llama3.1:8b-q4_0
2. 减少上下文：--ctx-size 4096
3. 关闭其他 GPU 应用（浏览器、显示）
4. 使用 CPU offload：--n-gpu-layers 20
性能问题
生成太慢（<5 tok/s）medium
1. 检查 GPU 利用率：nvidia-smi -l 1
2. 若 GPU 空闲：模型未上 GPU。用 --n-gpu-layers 99
3. 若 VRAM 已满但慢：尝试更小 batch 或上下文
4. CPU 推理：用 AVX2/AVX512 编译的 llama.cpp
首 token 慢，后续快（TTFT）low
1. 减少 prompt 处理：更小上下文
2. 使用 flash attention：--flash-attn
3. 预热：curl http://localhost:11434/api/generate -d '{"model":"llama3.1","prompt":"warmup"}'
模型加载问题
模型文件未找到 / 下载失败high
1. 检查可用模型：ollama list
2. 重新拉取：ollama pull llama3.1:8b
3. HuggingFace：设置 HF_HOME 或用 --cache-dir
4. 中国用户：设置 HF_ENDPOINT=https://hf-mirror.com
模型加载但生成乱码high
1. 校验 checksum：ollama show llama3.1:8b
2. 重新下载：ollama rm llama3.1:8b && ollama pull llama3.1:8b
3. 检查磁盘空间：每个模型 4-40 GB
网络与访问问题
Connection refused（:11434 连接被拒绝）medium
1. 检查 Ollama 是否运行：systemctl status ollama
2. 设置 OLLAMA_HOST=0.0.0.0:11434 开启网络访问
3. 检查防火墙：sudo ufw allow 11434
4. Docker：使用 -p 11434:11434
API 响应流式输出慢/卡顿low
1. 在 Nginx 中禁用代理缓冲：proxy_buffering off
2. 使用 HTTP/2：listen 443 ssl http2
3. 检查网络延迟：ping + traceroute
4. Cloudflare：禁用 /api/ 路径缓存
性能调优清单
  • GPU 驱动已更新（nvidia-smi 显示 CUDA 12.x）
  • 模型完全加载到 GPU（nvidia-smi 显示 VRAM 占用 >90%）
  • 使用 Q4_K_M 量化（速度/质量良好平衡）
  • 启用 flash attention（llama.cpp 用 --flash-attn）
  • 上下文大小合适（聊天 4096-8192，长文档 32768）
  • 无其他 GPU 进程运行（关闭浏览器、游戏）
  • 电源足够（RTX 4090 需 850W+）
  • 散热充足（负载下 GPU 温度 <80°C）
  • 存储使用 NVMe SSD（不要用 SATA/HDD 加载模型）
  • llama.cpp/vLLM/Ollama 为最新版本

模型管理

下载、切换和组织你的本地模型库

下载模型

获取开源模型的多种来源

Ollama Registry（最简单）
预量化、已优化的模型。最适合初学者。
# 列出可用模型
ollama list

# 拉取模型（自动选择最佳量化）
ollama pull llama3.1:8b
ollama pull qwen3:32b
ollama pull deepseek-r1:671b

# 拉取特定量化版本
ollama pull llama3.1:8b-q4_0
ollama pull llama3.1:8b-q8_0
Hugging Face（模型最多）
最大的模型仓库。配合 llama.cpp 或 transformers 使用。
# 安装 huggingface-cli
pip install huggingface_hub

# 下载 GGUF 模型
huggingface-cli download bartowski/Llama-3.3-70B-Instruct-GGUF Q4_K_M/Llama-3.3-70B-Instruct-Q4_K_M.gguf --local-dir ./models

# 带鉴权下载（gated 模型）
huggingface-cli login
huggingface-cli download meta-llama/Llama-3.3-70B-Instruct
HF Mirror（中国用户）
面向中国用户的官方镜像。下载速度快 10-50 倍。
# 设置镜像端点
export HF_ENDPOINT=https://hf-mirror.com

# 然后正常使用 huggingface-cli
huggingface-cli download Qwen/Qwen3-32B-Instruct-GGUF
ModelScope（中文模型）
阿里巴巴的模型平台。最适合 Qwen、DeepSeek、GLM 模型。
pip install modelscope
modelscope download --model Qwen/Qwen3-32B-Instruct-GGUF

存储管理

模型文件很大 — 提前规划磁盘使用

  • Ollama: /usr/share/ollama/.ollama/models (Linux) 或 ~/.ollama/models
  • HuggingFace: ~/.cache/huggingface/hub
  • llama.cpp: 用 -m 参数指定的位置
  • vLLM: ~/.cache/huggingface/hub（使用 HF 缓存）
Cleanup
# 检查模型存储占用
du -sh ~/.ollama/models/
du -sh ~/.cache/huggingface/

# 删除未使用的 Ollama 模型
ollama rm old-model-name

# 清理 HuggingFace 缓存
huggingface-cli delete-cache

# 将模型存储迁移到更大硬盘
export OLLAMA_MODELS=/mnt/nvme/ollama/models
典型模型集合（8B + 32B + 70B + 235B）需 100-200 GB NVMe 存储。请提前规划。

在模型间切换

运行多个模型，在 VRAM 中换入换出

Ollama
# 并发运行多个模型
ollama run llama3.1:8b &
ollama run qwen3:32b &
# 每个都占用 VRAM — 用 nvidia-smi 监控

# API：每个请求指定模型
curl http://localhost:11434/api/chat -d {"model":"llama3.1","messages":[...]}
curl http://localhost:11434/api/chat -d {"model":"qwen3:32b","messages":[...]}
vLLM
# vLLM：每个服务器实例运行一个模型
python -m vllm.entrypoints.openai.api_server --model Qwen3-32B --port 8000 &
python -m vllm.entrypoints.openai.api_server --model Llama-3.3-70B --port 8001 &
# 按端口路由 — 用 Nginx 做负载均衡

不确定哪条路适合你？

使用推荐引擎，根据你的预算、团队规模和隐私需求，获得个性化匹配。

获取推荐方案先对比云成本

硬件价格和模型能力数据截止 2026 年 6 月。实际表现因工作负载、量化级别和系统配置而异。云 API 成本基于典型使用模式的估算。