一句话总结: ChatGPT是自回归文本生成器(System2,负责写句子、长推理);Jev是单步概率决策器(System1,只做选择/打分,不生成任何文本)
1. 底层工作逻辑(最关键)
ChatGPT(传统LLM,Decoder-only,自回归 autoregressive)
- 输入prompt先做Prefill(一次性把输入全部算完)
- 循环逐token生成输出:预测第1个字 → 把这个字塞回上下文,再预测第2个字……依次循环
- 哪怕你只想要一个
{"result":"A"},它也要逐个生成JSON里每一个字符,输出越长,步数越多、越慢 - 输出是自然语言字符串;你拿到文本后,还需要代码去解析JSON,容易出现格式幻觉、引号缺失等bug
