垂直模型对齐怎么做:把奖励规则写成代码,再跑 GRPO
金融、医疗、法律任务里,很多错误可以直接核验。GRPO 去掉 Critic 后,可用代码奖励替代一部分奖励模型;省下价值网络的同时,采样开销、规则漏洞和评测压力会更突出。
阅读全文关键词:奖励规则
金融、医疗、法律任务里,很多错误可以直接核验。GRPO 去掉 Critic 后,可用代码奖励替代一部分奖励模型;省下价值网络的同时,采样开销、规则漏洞和评测压力会更突出。
阅读全文当 Agent 在多步任务里反复跑偏,继续加“请一步步思考”往往只能改变当次输出。GRPO 去掉 Critic,用同题多回答的相对得分更新模型,把优化重点移到可验证的奖励规则。
阅读全文