风控模型最容易在“会回答”和“会按流程处理”之间掉链子。
遇到疑似团伙欺诈咨询，只给出风险等级还不够。模型还得知道先核验什么、怎么向客户解释、何时上报。缺少其中一步，回答看起来通顺，业务上仍然不可用。
2026年第二季度，我们做了一次风控模型升级，选择GRPO（Group Relative Policy Optimization，群组相对策略优化）来训练模型。2025年以来，DeepSeek-R1让这一算法进入更多工程团队的视野。它会针对同一个输入生成多份回答，再按统一规则评分，根据组内相对表现更新参数，不需要额外训练独立的Critic模型。
这次更新的仍是LoRA参数。公开的GRPO实操资料中，也常见这种组合方式。
10.3万条对话，先拆场景再写规则
训练数据来自过去两年的客服与信审记录，共10.3万条。里面有口语、对话中断、多轮上下文，也夹着没有标注的客户风险信号。
按照原来的SFT路线，清洗并逐条补齐标签，至少需要两名风控专家工作一个月。GRPO没有省掉数据处理，只是把工作重点放到了场景识别和规则改写上。
第一步是意图聚类。团队使用BERT类模型做无监督聚类，从原始对话中整理出23个场景，包括还款能力咨询、交易信息核实、反欺诈策略触发等。
第二步是把业务手册改写成程序能检查的规则。比如，《业务操作手册》里的“仔细核实客户身份信息”过于模糊，无法直接打分。改写后，规则变成：回答中是否询问并验证了至少两项核心身份信息，例如注册手机号、预留身份证后四位。
清洗后形成约10万条训练样本。每条样本保留场景描述、原始对话和规则基线，没有强行补出一份标准答案。对于疑似团伙欺诈的询问，模型需要生成的也不只是风险等级，还要覆盖验证步骤、沟通话术和上报流程。
奖励函数先过业务这一关
这次奖励函数满分100分，权重分给了三个部分：
- 合规性，40分：由程序检查回答是否触碰《个人信息保护法》《反洗钱规定》等明文要求，例如是否泄露客户敏感信息。
- 流程完整性，40分：检查规定动作有没有做全。身份核验是否问到指定信息，发现高风险后是否触发上报流程，都在这一项里计分。
- 客户体验，20分：使用轻量级情感分析模型检查礼貌度和清晰度，避免回答过于生硬。
以账户冻结为例，模型如果只回答“账户已冻结”，流程完整性会丢分。得分更高的回答还要说明冻结原因、提供解冻指引，并引导客户联系客服。
这样的评分方式有一个直接好处：训练日志能指出具体失分项。某个场景连续在身份核验规则上得分偏低，团队就去检查规则是否写得含糊，或者补充示例，而不必只盯着一个总分猜原因。这和《当AI质检员上岗》中提到的反馈闭环很接近。
当然，程序只能检查已经编码的规则。业务手册里一句含糊的“谨慎处理”，不会自动变成有效奖励。
训练配置很克制：7B、LoRA、单卡4090
基础模型选用Qwen2.5-7B-Instruct，训练框架是LLaMA-Factory。硬件为一张NVIDIA RTX 4090，显存24GB；LoRA的秩设为16。
训练时，每个输入提示会同时生成4个回答，即group size=4。奖励函数分别打分，再以组内平均分为基线计算相对优势。高于基线的回答得到强化，低于基线的回答受到抑制。
同时加入较小的KL散度惩罚，限制模型偏离基础语言能力，避免规则分数上去了，回答却变得不通顺。
整轮训练约36小时。由于GRPO不需要独立的Critic模型，这套配置可以放进单张消费级显卡。团队此前用SFT追求相近效果时，通常需要至少4张A100（80GB），还要经历多轮数据筛选和训练。按本项目的对比口径，GRPO的硬件成本降低了90%以上。
这个数字只对应本次模型、数据和训练配置，不能直接套到其他项目。成本也没有凭空消失：逐条标注的工作少了，规则整理、奖励函数调试和业务验收的投入随之增加。
5000条离线对话过关后，再放10%真实流量
离线测试集包含5000条模拟对话。与纯SFT模型相比，GRPO模型的流程完整性得分高出18%，优势主要出现在需要连续执行多个动作的复合场景。
回答质量也有变化。模型更容易遵循业务话术，在部分边缘案例中给出的处理建议更完整。不过，这一项没有单独压缩成一个百分比，最终仍要看线上业务结果。
线上AB测试从2026年6月10日持续到7月10日，新模型承接10%的真实客户咨询流量，对照组使用传统规则引擎和旧模型。
| 指标 | 测试组结果 |
|---|---|
| 人工信审员平均案件处理时长 | 缩短12% |
| 模型建议并触发的反欺诈策略，后续确认为有效拦截的比例 | 比对照组提升5个百分点 |
| 因回答不当引发的客户投诉率 | 下降7% |
处理时长缩短，主要因为模型给出的操作指引更完整，人工信审员可以直接引用。策略触发准确率和投诉率则分别检验了业务有效性与客户体验，单靠离线规则分数看不出这两项结果。
SFT和GRPO，成本花在了不同地方
在这次项目里，两种训练方式的差别很具体。
SFT依赖高质量标准答案，效果容易受到标注质量限制。GRPO使用原始对话加结构化规则，可以继续通过奖励权重和规则内容调整模型行为。训练日志也能追溯到具体规则，定位问题相对直接。
但GRPO并不会自动理解业务。算法工程师负责把评分逻辑写进程序，风控专家则要确认每条规则是否准确、是否会误伤正常场景。双方如果只交付一份文档，很难把奖励函数调好。
还要留意“对齐税”。过度追求合规和流程分数，模型可能说话僵硬，甚至机械重复操作步骤。这也是客户体验保留20分权重的原因。合规、流程和表达之间需要持续校准，不能只追一个总分。
离线评估同样不能代替AB测试。规则遵循度提高，不等于案件处理效率、有效拦截和投诉率一定同步改善。《别急着做自动驾驶》里强调的成本、稳定性和可复制性，在风控模型上线时同样适用。
哪些团队更适合尝试GRPO
规则明确、流程步骤多，同时又缺少高质量标注数据的业务，更容易发挥GRPO的价值。风控、审核和客服流程都具备这类特征，但前提是业务要求能够被拆成程序可检查的动作。
模型上线后，Token消耗仍要单独管理，相关方法可参考《LLM推理账单怎么降》。工程平台方面，阿里云开发者社区2025年的文章已经列出PAI对SFT、DPO和GRPO微调的支持，可以减少部分训练流程的搭建工作。
这次项目最值得复用的是一套顺序：先把“什么算合格回答”写成可计算规则，再让模型分组生成、相对比较，最后交给线上指标验收。单张RTX 4090和36小时只是本次配置。规则无法被程序检查时，GRPO也补不上这块业务知识。
公开资料
以下资料用于核对算法与平台信息；10.3万条对话、训练配置和AB测试结果来自本次项目记录。
