Tencent Hunyuan optimiert Batch-Größe für RL-Training

Forschung

Das Team von Tencent Hunyuan hat die klassische Theorie der kritischen Batch-Größe auf das Reinforcement Learning großer Sprachmodelle übertragen. Durch Anpassung der Lernrate bei vergrößerter Batch-Größe steigt der PPO-Durchsatz um bis zu 2,29-mal, während GRPO 29 Prozent weniger Trainingszeit benötigt.

Quelle: AIbase News