跳到主要内容

LLM 配置

在 backend/.env 中设置 SYSTEM_DEFAULT_LLM_MODEL(模型)和 SYSTEM_DEFAULT_LLM_API_KEY(对应的 API 密钥):

提供商值
Google Gemini(默认)gemini-3.8-flash
OpenAI(通过 LiteLLM)litellm:openai/gpt-6.1-sol
Anthropic(通过 LiteLLM)litellm:anthropic/claude-sonnet-5-5
Amazon Bedrock(通过 LiteLLM)litellm:bedrock/global.anthropic.claude-sonnet-5-5

它们是系统的默认 LLM。后端每次启动都会把它们写入系统设置,因此已设置的变量总是优先于该界面;想在界面中更改某个字段,就不要设置对应的变量。确切规则见 LLM。租户可以使用其他模型或自己的密钥,详见租户的 LLM。

代理按以下顺序使用这些设置。每个字段各自依次回退,因此只设置了模型的租户仍会使用系统的密钥:

顺序来源
1租户自己的 LLM(超级管理员为该租户设置过时)
2系统设置界面中系统的 LLM
3内置的默认模型 gemini-3.8-flash

如果两处都没有密钥,则像以前一样读取提供商自己的环境变量:GOOGLE_API_KEY、OPENAI_API_KEY、ANTHROPIC_API_KEY 或 AWS_BEARER_TOKEN_BEDROCK。

后端的其他设置都在配置参考中有各自的说明。

Gemini(默认)​

SYSTEM_DEFAULT_LLM_MODEL=gemini-3.8-flash
SYSTEM_DEFAULT_LLM_API_KEY=your_google_api_key_here

OpenAI(通过 LiteLLM)​

SYSTEM_DEFAULT_LLM_MODEL=litellm:openai/gpt-6.1-sol
SYSTEM_DEFAULT_LLM_API_KEY=your_openai_api_key_here

Anthropic(通过 LiteLLM)​

SYSTEM_DEFAULT_LLM_MODEL=litellm:anthropic/claude-sonnet-5-5
SYSTEM_DEFAULT_LLM_API_KEY=your_anthropic_api_key_here

Amazon Bedrock(通过 LiteLLM)​

这种方式所需的 boto3 和 botocore[crt] 软件包已随后端提供,因此无需额外安装。

SYSTEM_DEFAULT_LLM_MODEL=litellm:bedrock/global.anthropic.claude-sonnet-5-5
SYSTEM_DEFAULT_LLM_API_KEY=your_bedrock_bearer_token_here