AI 全流程指南
从模型开发到应用落地的全环节工具/平台
KoboldCpp
KoboldCpp 是单文件零安装的本地 LLM 运行工具,内置 KoboldAI 界面,可在 Windows/Linu
MLX
MLX 是 Apple 开源的机器学习框架,专为 Apple Silicon(M系列芯片)设计,可在 Mac 上高效运行
SGLang
SGLang 是高性能开源 LLM 与多模态模型推理服务框架,提供低延迟、高吞吐的推理能力,支持从单卡到大规模分布式集群
vllm
vLLM 是加州大学伯克利分校开源的 LLM 推理与部署引擎,首创 PagedAttention 技术,实现高吞吐、低延
llama
llama.cpp 是 ggml-org 开源的纯 C/C++ LLM 推理引擎,无需 GPU 即可在本地运行 AI 大
lmstudio
LM Studio 是本地运行 AI 模型的桌面应用,支持 macOS/Windows/Linux,无需联网即可在个人电
ollama
Ollama 是本地运行开源大模型最流行的工具,支持 macOS/Windows/Linux,一键运行 DeepSeek
G
GPT4All
GPT4All 是 Nomic AI 开发的本地 AI 聊天桌面应用,支持 Windows/macOS/Linux,可在