摘要： 本文探讨了如何利用强化学习（RL）训练大型语言模型（LLMs）以完成复杂任务，特别是那些需要结构化输出的任务，如生成精确代码或多步骤推理。文章指出，在Levro公司开发金融科技产品时，遇到了如何为LLMs提供足够具体且不过度惩罚的反馈的问题。为了解决这个问题，Levro开发了一种新的技术——基于token级别的奖励分配。这种方法通过为每个评估指标提供详细的评分和归因，以及计算每个token的优势，使RL训练对LLMs更加有效。实验结果表明，这种方法提高了训练速度、代码生成基准的评估奖励、减少了奖励函数的“游戏化”，并提高了模型在保留良好结构的同时修复错误的能力。
讨论： 该内容涉及对某个项目的评价和讨论。一位用户（ACCount36）表示该项目缺乏实现细节、实际奖励模型示例和GitHub仓库，认为其更像是一个销售页面。另一位用户（trhway）讨论了将奖励/错误等因素从标量变为向量的重要性，以及这如何影响神经网络训练过程中的梯度计算。最后，danielmarkbruce提出了发表论文的建议。
原文标题：The Revolution of Token-Level Rewards
原文链接：https://www.levroai.com/blog/revolution-of-token-rewards-08-01-2025
讨论链接：https://news.ycombinator.com/item?id=44786843