Skip to content

Conversation

wengqian66
Copy link
Contributor

No description provided.

@wengqian66 wengqian66 requested a review from sunmh207 as a code owner August 4, 2025 07:48
…9ec51da688

[Snyk] Security upgrade python from 3.10-slim to 3.14.0rc1-slim
@nblog
Copy link

nblog commented Aug 14, 2025

不是很明白为什么要设置默认temperature?
我觉得在没有特殊要求,理论上请求应该是不附带temperature,这样无论是本地部署,还是API调用,都有提供商来配置最佳参数。
尤其是不同模型会存在支持/不支持temperature的情况,或者像qwen这类最佳配置temperature是0.7的情况。

@wengqian66
Copy link
Contributor Author

因为当时在用本地模型测试RAG检索知识库,发现参数比较小的模型输出不太稳定,所以加了这个参数,如果直接调用参数比较大的模型api的是可以不用的,如果有些不支持的话我后面把他们删了

@nblog
Copy link

nblog commented Aug 15, 2025

因为当时在用本地模型测试RAG检索知识库,发现参数比较小的模型输出不太稳定,所以加了这个参数,如果直接调用参数比较大的模型api的是可以不用的,如果有些不支持的话我后面把他们删了

我觉得是可以加的,因为大部分LLM模型还是有temperature参数(openai的o系列除外)。
我只是觉得如代码中设计的LLM_TEMPERATURE,我觉得像"LLM_TEMPERATURE" in os.environ如果并未被设置,请求中就不带temperature(以便由模型提供商来调整最佳参数),而对于特殊要求设置了的,则在请求时带上,这样对于自己配置的模型,也会清楚是否需要配置温度。

@wengqian66
Copy link
Contributor Author

嗯嗯,这样做确实更合理一些,我后续再修改下

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants