LangChain 和 LiteLLM 接入指南

适用角色：开发者更新日期：2026-08-06

LangChain 适合直接在应用代码中调用模型，LiteLLM 适合在统一接口层选择 OpenAI Compatible Provider。两个示例都使用本平台 Base URL。

以控制台「API Key」页展示的接口地址为准。

LangChain

安装：

python -m pip install langchain-openai

最小调用：

import os
from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI(
    model="deepseek-v4-flash",
    api_key=os.environ["CUSTOM_API_KEY"],
    base_url="https://<接口地址>",
    timeout=60,
    max_retries=2,
)
 
result = llm.invoke("请只回复：连接成功")
print(result.content)

运行前设置 CUSTOM_API_KEY。模型名可以替换为控制台提供的其他调用名。

LiteLLM

安装：

python -m pip install litellm

import os
import litellm
 
response = litellm.completion(
    model="openai/deepseek-v4-flash",
    api_key=os.environ["CUSTOM_API_KEY"],
    base_url="https://<接口地址>",
    messages=[{"role": "user", "content": "请只回复：连接成功"}],
    timeout=60,
)
 
print(response.choices[0].message.content)

openai/ 用于让 LiteLLM 选择 OpenAI Compatible 适配器，不会作为本平台模型名发送。

放入业务代码前

先用最小示例确认连接，再加入流式输出、工具调用和复杂重试。429 应优先遵循响应中的等待信息；502 可做有限次数的退避重试。请求日志不得记录完整 Key 或包含敏感业务内容的提示词。