产品简介
litellm LiteLLM是一个开源AI网关，它通过一个统一的OpenAI格式接口，让你能轻松调用超过100个主流大语言模型（如OpenAI、Anthropic、Gemini等）。解决了在多模型集成时SDK、认证和请求格式不一致的痛点，适合需要灵活切换或同时使用多个AI模型的开发者和企业团队。
核心功能
- 统一API接口，兼容OpenAI格式，无需学习各厂商SDK
- 内置生产就绪功能：虚拟密钥管理、成本追踪、安全护栏与负载均衡
- Rust核心保障高性能，实测1千请求/秒下P95延迟仅8毫秒
- 支持一键部署到AWS、GCP、Render等多个云平台
- 提供Python SDK和可自托管的代理服务器（AI Gateway）两种使用方式
快速开始
- 使用uv安装Python SDK：uv add litellm
- 在代码中导入并调用completion函数，指定模型和消息即可
- 如需部署为团队服务，安装代理：uv tool install 'litellm[proxy]'
- 启动代理服务器：litellm --model gpt-4o
- 客户端通过OpenAI SDK指向本地代理地址（如http://0.0.0.0:4000）进行调用
界面预览
与其他方案对比
| 对比项 | litellm | 同类方案 |
|---|---|---|
| 集成复杂度 | 一套代码调用100+模型，格式统一 | 每个模型厂商需要单独集成SDK和学习不同接口 |
| 生产管理 | 内置密钥、预算、监控、负载均衡等企业级功能 | 通常需自行开发或拼凑第三方工具实现管理功能 |
| 部署灵活性 | 可本地Python调用，也可一键部署到主流云平台作为中心网关 | 通常只有一种主要使用或部署方式 |
适合谁用
- 需要在应用中集成多个大模型API的软件开发者
- 需要为团队提供统一、可控AI服务接口的技术负责人
- 追求高性能、高可用性AI基础设施的企业运维工程师
下载与版本
当前最新版本为 v1.93.0，发布于 2026-07-19。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/BerriAI/litellm