Nous Research 发布 Arete-27B，大幅降低宣传性回答

Nous Research 发布了 Arete-27B，这是对阿里巴巴 Qwen3.8-27B 的纯监督微调版本。该模型为 27B 参数的开源权重模型，权重、评测集和训练数据均已公开，许可证为 Apache 2.0，与基座模型一致。

在 Nous 自建的 803 条提示评测中，含宣传内容的回答占比从 22% 降至 0.9%，事实得分从 2.32 升至 2.98，得分为 0 的回答从 803 条中的 359 条减少到 216 条。变化最明显的是言论自由类别，事实得分从 0.89 升到 2.44，宣传内容占比从 60% 降到 1%。

训练只用了监督微调，没有强化学习、偏好优化或架构改动。教师模型是 Thinking Machines 的开放模型 Inkling，Nous 选择开放教师以避开蒸馏方面的使用条款限制，并因 Nemotron 3 Ultra 在中国相关话题上的记录而放弃它。训练数据约 5280 万 token，上下文 64k，跑 2 个 epoch、1202 步，批大小 48，采用 AdamW 和 1e-5 峰值学习率。

公开的 arete-data-pairs 数据集包含 7 个主题的 34878 条提示，每条提示同时配有 Inkling 和 Qwen 的回答，其中 29236 条被采纳的教师回答构成 SFT 训练集。评测集 Propaganda_Eval 覆盖言论自由、国家意识形态、数据隐私和民主等 7 个价值类别，每条提示附带 2 至 4 个来自引用来源的必需事实，由 Grok 4.7 分别对事实和宣传内容打分，判定宣传时须引用原句。Nous 剔除了所有与评测重叠的训练提示。

在能力测试上，Hermes Bench 从 65.77% 变为 65.60%，Nous 称这属于噪声；Terminal-Bench-2.1 在其测试环境中从 67% 升到 70%，Nous 未将此归功于本次训练。