KoboldCpp 是单文件零安装的本地 LLM 运行工具，内置 KoboldAI 界面，可在 Windows/Linux/macOS 上离线运行 GGUF 格
MLX 是 Apple 开源的机器学习框架，专为 Apple Silicon（M系列芯片）设计，可在 Mac 上高效运行本地 LLM 大模型，数据完全本地处理，
GPT4All 是 Nomic AI 开发的本地 AI 聊天桌面应用，支持 Windows/macOS/Linux，可在本地运行开源大模型，提供 LocalDo
Ollama 是本地运行开源大模型最流行的工具，支持 macOS/Windows/Linux，一键运行 DeepSeek、Qwen、GLM、Llama 等模型，
LM Studio 是本地运行 AI 模型的桌面应用，支持 macOS/Windows/Linux，无需联网即可在个人电脑上运行 GPT-OSS、Qwen、Ge
llama.cpp 是 ggml-org 开源的纯 C/C++ LLM 推理引擎，无需 GPU 即可在本地运行 AI 大模型，支持量化、CPU/GPU混合推理，
vLLM 是加州大学伯克利分校开源的 LLM 推理与部署引擎，首创 PagedAttention 技术，实现高吞吐、低延迟、内存高效的模型服务，支持 OpenA
SGLang 是高性能开源 LLM 与多模态模型推理服务框架，提供低延迟、高吞吐的推理能力，支持从单卡到大规模分布式集群部署，广泛应用于生产环境。
Haystack 是 deepset 开源的生产级 AI 编排框架，用模块化管道构建 RAG、语义搜索与 Agent 应用，支持自主代理与多模态，Python
字节跳动是全球领先的科技公司，旗下豆包（Seed）大模型系列覆盖文本、图像、视频、语音、音乐全模态，通过火山引擎提供大规模API服务，C端用户量国内第一。