LiteLLM
访问官网
开源软件
模型网关
AI代理
详情介绍
LiteLLM 是一个开源的 LLM API 统一接口库,支持 100+ 种大模型的统一调用,提供 OpenAI 兼容的 API 格式,简化多模型管理与成本优化。
🎯 核心功能
- 统一接口:使用 OpenAI API 格式调用 100+ 大模型,无需修改代码即可切换模型
- 多模型支持:兼容 OpenAI、Anthropic、Google、Azure、开源模型等各种 LLM
- 成本追踪:自动记录 Token 使用量与费用,支持预算告警与成本优化
- 负载均衡:支持多 API Key 轮询、故障转移与自动重试
- 代理服务:可作为 LLM API 代理服务器,统一管理团队模型访问
💡 适用场景
- 需要统一管理与调用多种 LLM 的企业应用
- 多模型对比测试与性能评估
- LLM API 成本优化与预算控制
- 构建高可用的 LLM 应用服务
💪 平台优势
- 开源免费,GitHub 活跃维护
- 降低多模型开发复杂度
- 企业级稳定性与可靠性支持