Shanghai AI Lab und SJTU stellen neues Pre-Training-Paradigma NCP vor

Modelle

Das Shanghai Artificial Intelligence Laboratory und die Shanghai Jiao Tong University haben das Pre-Training-Paradigma Next Concept Prediction (NCP) vorgestellt. Das 8,9 Milliarden Parameter große Modell NCP-ArchPreview erreicht mit 51,3 Prozent der Token-Budget die gleiche Pre-Training-Loss wie OLMo-3-7B. Laut der Meldung steigert es die konvergente Geschwindigkeit um das 1,95-fache.

Quelle: AIbase News