IQuest Research stellt Sprachmodell IQuest-Q1 vor

Modelle

Das Forschungsinstitut IQuest Research hat das Sprachmodell IQuest-Q1 veröffentlicht. Es basiert auf einer Decoder-only-Transformer-Architektur mit spärlich aktivierter Mixture-of-Experts-Struktur. Nach Angaben des Unternehmens hat das Modell insgesamt rund 320 Milliarden Parameter, von denen bei jeder Anfrage etwa 15 Milliarden aktiviert werden. Laut IQuest Research wirkt das Modell auch an seiner eigenen Weiterentwicklung mit: Vorschläge des Modells für neue Trainingsschritte werden, sobald menschliche Forscher sie freigeben, direkt in die nächste Modellversion übernommen, ebenso wie Datenabläufe, Trainingskonfigurationen und Bewertungsmethoden.

In Benchmark-Tests zu Aufgaben wie Repository-weiter Codegenerierung (NL2Repo), dem Sicherheitsbenchmark CyberGym, Terminal-Bench 2.1, dem Code-Langzeittest DeepSWE v1.1 und dem Büroaufgaben-Benchmark JobBench habe das Modell laut der Meldung von Quantum Bit unter Modellen mit vergleichbarer Parameterzahl gut abgeschnitten. Konkrete Punktzahlen für IQuest-Q1 selbst nennt der Bericht dazu nicht.

Als Beispiel für die Arbeitsweise des Modells beschreibt der offizielle Blog von IQuest Research einen Fall aus dem Reinforcement-Learning-Training: Eine Reward-Kurve stagnierte unerwartet. Forscher ließen IQuest-Q1 anhand des Claude-Code-CLI-Frameworks die Trainingsprotokolle und aufgezeichneten Trainingsverläufe analysieren und den Fehler im Code zurückverfolgen. Das Modell lokalisierte die Ursache in der Textrückgabe und Trajektorien-Verknüpfung beim Einbinden des RL-Frameworks in ein Scaffold: Der Inferenzdienst hatte beim Dekodieren zusätzlich ein Leerzeichen eingefügt. Dadurch verschob sich der generierte Text gegenüber dem übertragenen Verlauf, der Abgleich der Präfixe brach ab, mehrstufige Generierungsläufe wurden unterbrochen, und mehrere frühe Trainingsrunden waren laut der Meldung wirkungslos. Nach der Fehlerkorrektur durch IQuest-Q1 lief das Training wieder normal.

Laut der Meldung hat IQuest Research seit Ende Juli mehrere Forschungsergebnisse vorgestellt, darunter die Optimierungsmethode MuonH, UBio-MolFM und eine Methode zur spärlichen Gewichtszerlegung. Am 16. dieses Monats sei zudem das vom Team mitentwickelte Framework ModularRSI auf der Tagesrangliste von Hugging Face auf Platz zwei gelandet. Es habe die Genauigkeit eines Agenten bei Terminal-Bench 2.0 von 47,57 Prozent auf 52,43 Prozent und bei SWE-Bench Verified von 73,40 Prozent auf 76,45 Prozent erhöht.

Offen bleibt: Die Angaben zur Leistungsfähigkeit von IQuest-Q1 stammen überwiegend aus dem eigenen Blog von IQuest Research und aus informellen Tests der berichtenden Autorin; unabhängige Bestätigung der Zahlen liegt nicht vor.

Quelle: Quantum Bit RSSHub