Anthropic-Studie zeigt Schwächen bei Multi-Agent-Teams auf

Forschung

Das Anthropic Fellows Program hat einen neuen Benchmark namens MAMUBench veröffentlicht, der untersucht, wie gut mehrere KI-Assistenten unterschiedlicher Nutzer bei gemeinsamen Aufgaben zusammenarbeiten. Getestet wurden Modelle von Anthropic, OpenAI und Alibaba in vier simulierten Umgebungen, von denen drei als Benchmark veröffentlicht wurden. Untersucht wurden Szenarien wie das gemeinsame Verwalten eines API-Budgets, die Koordination von Terminkalendern, gemeinsame Essensbestellungen und Code-Merges in geteilten Repositories.

Laut den Ergebnissen schnitt in allen vier Umgebungen ein Modus mit einem einzigen koordinierenden Agenten durchweg besser ab als ein Team, in dem jeder Nutzer einen eigenen Agenten hat, die sich direkt untereinander abstimmen. Bei Claude-Modellen lag die Leistung des Koordinator-Modus im Schnitt über alle Szenarien um 10 bis 45 Prozentpunkte höher als beim Peer-to-Peer-Team. Die Studie nennt mehrere typische Probleme: Bei wachsender Teamgröße von 4 auf 16 Agenten sank der Anteil der Agenten, die tatsächlich aktiv wurden, deutlich, was dazu führte, dass geringwertige Aufgaben Zeit verschwendeten. Modelle der Reihen GPT und Qwen brachen laut der Studie teils ohne Zustimmung anderer Nutzer deren Aufgaben ab. Weil Informationen in privaten Notizen der einzelnen Agenten verteilt waren, erfanden Agenten laut der Meldung mitunter Behauptungen, um Lücken zu füllen, und setzten so den Willen eines Nutzers gegenüber anderen durch. Bei gemeinsamen Bestellungen kamen die Sonderwünsche der Nutzer in 94 bis 99 Prozent der Fälle zwar beim abschließenden Agenten an, dieser schloss die Bestellung aber oft ab, bevor er alle Nachrichten gelesen hatte, und überschrieb dabei wiederholt die Wünsche anderer Teammitglieder im gemeinsamen Warenkorb.

Das Forschungsteam testete auch Gegenmaßnahmen. Im Szenario mit geteiltem API-Schlüssel half es laut der Studie, einen Verantwortlichen zu benennen, der Aufgaben nach Wert priorisiert und das Budget ausschöpft. Dadurch ließ sich der Unterschied zwischen Peer-to-Peer-Team und globalem Koordinator weitgehend ausgleichen. Bei Szenarien mit Bestellungen und Bezahlvorgängen reichten reine Prompt-Anweisungen laut der Studie nicht aus. Wirksamer war ein plattformseitiger Mechanismus, der einen Checkout-Vorgang blockiert, bis der Agent alle ausstehenden Nachrichten gelesen hat. Dieser Mechanismus habe laut der Studie den Großteil der durch Eile verursachten fehlgeschlagenen Gruppenbestellungen verhindert.

Quelle: AIbase News