用GRPO算法调教3B小模型：不走SFT弯路的企业专属微调方案

2026年的夏天，当北京AGI园区亮出8000P算力时，大多数中小创业团队并没有去挤那辆“豪华大巴”。相反，他们选择了更务实的路径：在本地机房里，用一块RTX 4090，把一个3B参数的小模型喂得比云端大模型更懂业务。

这种转变的核心，不再是对海量通用数据的监督微调（SFT），而是基于**GRPO（Group Relative Policy Optimization）**的强化学习对齐。据《告别暴力堆数据：2026年大模型训练为何集体转向强化学习？》一文分析，随着优质Token耗尽，RL已成为提升逻辑推理能力的关键拐点。而GRPO的优势在于，它直接取消了PPO中昂贵的Critic模型，仅依靠Group内的相对优势估计即可优化策略，这让显存友好型微调成为了可能。

为什么3B模型值得你重新“调教”

在垂直领域，通用大模型往往显得“懂很多但准很少”。比如在处理企业内部复杂的合规审查或特定代码库的生成时，3B模型经过针对性强化后，其响应速度和准确率往往优于直接调用10B+的模型。

传统的SFT流程需要构造数万条高质量的指令对，这不仅耗时，而且容易陷入“过拟合训练集”的陷阱。相比之下，GRPO通过“试错-反馈”机制，让模型在奖励函数的引导下自我进化。正如吴恩达在最新课程《使用 GRPO 对大型语言模型进行强化微调》中所强调的，这种On-policy的自提升方式，能让小模型在推理能力上实现反超。

实战准备：单卡RTX 4090的显存极限

要在RTX 4090（24GB显存）上跑通3B模型的GRPO微调，我们需要极度克制地管理资源。参考《10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战》中的经验，虽然3B模型更小，但GRPO涉及多组采样（Group Size），显存峰值并不低。

关键参数配置建议

以下是基于SWIFT 3.6.4文档及社区实测的推荐配置：

• 模型选择：Qwen2.5-3B-Instruct 或 Llama-3.2-3B。建议使用INT4或FP8量化版本，以释放更多显存用于Batch和Group采样。
• Group Size：设为4-8。每组采样4-8个答案，计算相对优势。过大会导致显存溢出，过小则梯度噪声大。
• Max Prompt Length：控制在512以内。长上下文不仅消耗显存，且在SFT阶段难以有效对齐。
• Max New Tokens：256。垂直任务通常不需要长篇大论，限制输出长度能有效加速迭代。
• LR（学习率）：1e-5 到 5e-6。GRPO对学习率非常敏感，建议从较小值开始。
• KL Penalty：0.01 - 0.1。防止模型偏离初始分布太远，产生幻觉或退化。

核心难点：如何编写“不说谎”的奖励函数

GRPO的灵魂在于Reward Function。如果奖励信号不准，模型只会学会“钻空子”。在《让客服 Agent 自己改 Prompt，先把评估流程搭好》中提到，评估流程的建立优于Prompt本身。对于微调，这意味着我们需要构建一个可量化的、多维度的奖励体系。

以下是一个针对企业合规问答场景的奖励函数模板（Python伪代码）：

def calculate_reward(generated_text, ground_truth, metadata):
    reward_score = 0.0
    
    # 1. 格式准确性 (Binary Check)
    # 检查是否包含必要的标签或JSON结构
    if is_valid_format(generated_text, metadata['format']):
        reward_score += 1.0
    else:
        return -1.0  # 严重惩罚格式错误
        
    # 2. 事实一致性 (Factuality)
    # 使用轻量级NLI模型或规则引擎比对
    if check_facts(generated_text, metadata['context']):
        reward_score += 0.5
        
    # 3. 简洁性 (Conciseness)
    # 避免冗长废话，理想长度在50-100字之间
    length = len(generated_text.split())
    if 10 <= length <= 20:
        reward_score += 0.2
    else:
        reward_score -= 0.1 * abs(length - 15)
        
    # 4. 安全性 (Safety)
    # 敏感词过滤
    if contains_sensitive_words(generated_text):
        reward_score -= 5.0
        
    return reward_score

在这个模板中，我们引入了负反馈机制。例如，格式错误直接导致-1.0的分数，这在GRPO的相对优势计算中，会让该样本成为“对照组”中的劣势项，从而迫使模型快速调整策略。

避坑指南：从SFT到GRPO的平滑过渡

许多团队在从SFT转向GRPO时，最容易犯的错误是直接跳过SFT阶段。事实上，3B模型需要先经过少量的SFT（约500-1000条高质量数据）来建立基本的能力基线，然后再进行GRPO微调。否则，模型可能在强化学习初期产生严重的退化（Rewards Hacking）。

此外，监控指标不应只看Loss，更要看Reward分布。如果Reward的标准差过大，说明采样质量不稳定，需要调整Group Size或KL Penalty。

结语：小模型的复兴

2026年，算力不再是唯一的壁垒。正如《北京算力券申领指南（2026版）》所揭示的，中小团队通过政策红利和技术优化，完全可以在有限资源下实现模型能力的跃迁。GRPO让3B小模型的微调变得轻量、高效且可控。

对于企业而言，拥有一个在单卡RTX 4090上就能每天迭代一次的专属小模型，比依赖一个昂贵且不透明的云端大模型，具有更高的安全边际和业务灵活性。现在，是时候拿起你的奖励函数，开始调教你的第一个GRPO模型了。

参考阅读： - 《告别暴力堆数据：2026年大模型训练为何集体转向强化学习？》 - 《10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战》 - 《北京算力券申领指南（2026版）：中小团队如何撬动8000P园区资源》