什么是 LiteLLM?
LiteLLM 是一款开源的 AI 网关与 LLM 代理,让整个组织统一接入各类模型、智能体与 MCP 服务,并能查看、控制和优化每一次请求。部署在你自己的基础设施上,享受亚毫秒级开销、统一的访问密钥以及完整的审计记录。开源网关可免费自托管用于生产环境;企业版在同一网关之上额外提供治理、安全与支持能力。
如何使用 LiteLLM?
1. 拉取 LiteLLM 的 Docker 镜像(docker.litellm.ai/berriai/litellm:latest)并在 4000 端口运行。2. 将你的应用指向 LiteLLM 代理,用同一套密钥把请求路由到任意模型。3. 在 LiteLLM 控制台中设置预算与访问控制,在请求执行前就限制开销。4. 在审计日志中查看每一次请求,并在仪表盘中优化成本。
LiteLLM 核心特点
01
统一接入
通过一个网关和同一套密钥,让全公司统一接入各类模型、智能体与 MCP 服务。
02
可视性与控制
查看每一次请求并在其执行前加以限制,预算与访问控制都在 LiteLLM 控制台中设置。
03
成本优化
从统一仪表盘追踪各供应商的使用情况并优化支出,最大化你的 AI 投资回报。
04
部署简单
通过自托管的 Docker 部署与亚毫秒级开销,一个下午即可在你自己的技术栈中上线。
05
密钥与基础设施尽在掌握
天生自托管:你的数据与密钥始终留在你自己的基础设施内,并保留完整的审计记录。
LiteLLM 使用案例
通过单一网关让整个组织统一接入各类 LLM 供应商
按团队、项目或用户追踪并在执行前限制 AI 支出
在受监管或本地环境中运行物理隔离的 LLM 代理
在众多应用中统一模型路由、降级与重试策略
为安全审查保留每一次 AI 请求的完整审计记录
LiteLLM 常见问题解答
开源版本真的可以免费用于生产环境吗?
企业版如何定价?
可以物理隔离部署吗?
你们会看到我们的数据或流量吗?
有免费试用吗?
如何购买?
LiteLLM 产品背景及官方链接
LiteLLM 支持电子邮件和客户服务联系方式和退款联系方式等。
更多联系方式,请访问 关于我们页面(https://docs.litellm.ai/docs/)
LiteLLM 公司信息
LiteLLM 公司名称: Berrie AI Incorporated
LiteLLM 开发商类型: company
更多关于 LiteLLM, 请访问 关于我们页面(https://docs.litellm.ai/docs/)
LiteLLM 定价
LiteLLM 定价链接: https://litellm.ai/pricing
LiteLLM 推特
LiteLLM 推特链接: https://x.com/litellm
LiteLLM 领英
LiteLLM 领英链接: https://www.linkedin.com/company/90867735
LiteLLM GitHub
LiteLLM GitHub 链接: https://github.com/BerriAI/litellm


