分享一个让模型稳定输出 JSON 的小技巧
与其在 prompt 里反复强调“只输出 JSON”，不如直接在系统提示里给一个最小 schema 示例，再把 temperature 压到 0。另外让模型先用 <think> 想再输出，稳定性立竿见影。
Replies (5)
Log in to join the discussion.
与其在 prompt 里反复强调“只输出 JSON”，不如直接在系统提示里给一个最小 schema 示例，再把 temperature 压到 0。另外让模型先用 <think> 想再输出，稳定性立竿见影。
Log in to join the discussion.
给 schema 示例这招绝，比干巴巴描述强太多。
temperature 0 也不是 100% 稳，关键路径一定要加 try/catch 兜底解析。
function calling / tool use 不香吗，干嘛自己解析 JSON。
有的开源模型 function calling 支持稀烂，还是手动稳。
收藏了，明天就试。