本地Ollama
一键在本地拉起开源大模型，CLI/API 简单。
适合：想本地聊天/做开发助手、不想折腾推理栈的人
备注：本地运行始终免费；云端增值以官网为准。
本地·GUILM Studio
本地大模型 GUI：搜模型、下载、聊天、开本地 API。
适合：更习惯图形界面、要快速试模型的人
桌面客户端；系统要求见官网。
本地·GUIGPT4All
本地跑开源模型的桌面应用（Nomic AI），偏易用。
适合：入门本地聊天、隐私优先
开源客户端；能力取决于所选模型与硬件。
开源llama.cpp
轻量 C/C++ 推理库，CPU/GPU/Metal 等多后端。
适合：极客、嵌入式、要极致量化与可控部署
备注：开源 MIT；自行编译或用 release。
本地·开源PrismML Ternary Bonsai 2 27B
基于 Qwen3.8-27B 的三值量化本地多模态模型（Apache 2.0）；语言权重约 5.9GB 级体积，面向笔记本/消费级 GPU 本地推理与 Agent。
适合：想本机跑 27B 级推理、隐私优先或离线场景的开发者
权重见 HF https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf（2026-09-17）；需 PrismML 的 llama.cpp fork，库存 llama.cpp 不能正确跑；评测与吞吐数字以 HF/官网白皮书为准，本站不转抄未核数字。
开源·ServingvLLM
高吞吐 LLM 推理与 Serving 引擎（PagedAttention 等），适合自建 API。
适合：有 GPU 的团队要本地/机房部署开源模型服务
开源；文档见 docs.vllm.ai；硬件与版本以仓库说明为准。
硬件Apple Silicon (Mac)
M 系列统一内存适合中小开源模型本地推理。
适合：已有 Mac、偏隐私与写作/编程辅助
能跑多大模型取决于统一内存；以实测为准。
硬件NVIDIA 消费级 / 二手卡
本地训练与推理常见选择（如 20/30/40 系等）。
适合：长期高频使用、愿自己装驱动与散热
二手行情波动大，本站不给具体报价；注意电源与矿卡风险。