Hinweis: Der folgende Artikel hilft Ihnen dabei: Dieses KI-Papier schlägt UPRISE vor: einen leichten und vielseitigen Ansatz zur Verbesserung der Zero-Shot-Leistung verschiedener LLMs mit großen Sprachmodellen bei verschiedenen Aufgaben
Große Sprachmodelle wie GPT-3, OPT und BLOOM haben in verschiedenen Anwendungen beeindruckende Fähigkeiten unter Beweis gestellt. Laut einer aktuellen Studie gibt es zwei wichtige Möglichkeiten, ihre Leistung zu steigern: die Verbesserung der Fähigkeit von LLMs, Aufforderungen zu befolgen, und die Schaffung von Verfahren für die schnelle Entwicklung. Durch die Feinabstimmung von LLMs werden ihre Gewichte geändert, um bestimmte Anweisungen zu erfüllen und die Aufgabenleistung zu steigern. Dies könnte jedoch durch Verarbeitungsressourcen und die Nichtverfügbarkeit von Modellgewichten eingeschränkt werden. Eine andere Methode zur Verbesserung der Verallgemeinerung von Zero-Shot-Aufgaben bietet die Multitask-Optimierung, die den Aufwand der Optimierung teilweise rechtfertigt.
Da sich LLMs jedoch ständig weiterentwickeln, ist eine Feinabstimmung neuer Modelle erforderlich, was ernsthafte Fragen zu den Gesamtkosten der Feinabstimmung aufwirft. Technische Hinweise werden verwendet, um eingefrorene LLMs zu steuern. Das Eingabeaufforderungsdesign integriert eine technische Eingabeaufforderung in natürlicher Sprache in die Aufgabeneingabe, um den LLM zu trainieren, im Kontext zu lernen, oder um den LLM zum Denken zu ermutigen. Durch die Schnelloptimierung wird zur Verbesserung eine Soft-Eingabeaufforderung hinzugefügt, die durch kontinuierliche Parameter dargestellt wird. Obwohl diese Techniken für bestimmte Aufgaben hervorragende Ergebnisse liefern können, ist unklar, ob für eine Aufgabe erstellte Eingabeaufforderungen für andere Aufgabentypen verwendet werden können, die noch nicht entdeckt wurden, da strenge Zero-Shot-Einstellungen Eingabeaufforderungsdesigner blind machen.
Das von Microsoft-Forschern vorgeschlagene UPRISE ist aufgrund seiner modell- und aufgabenübergreifenden Generalisierung eine praktikable und nützliche Lösung für reale Anwendungen. In dieser Studie bieten sie UPRISE an, einen leichten und anpassungsfähigen Retriever, der bei Eingabe einer Zero-Shot-Aufgabe Eingabeaufforderungen automatisch aus einem vorkonstruierten Datenpool anpasst. Dem Retriever wird beigebracht, Hinweise für verschiedene Aufgaben wiederherzustellen, wie in Abbildung 1 dargestellt, sodass er während der Inferenz auf andere Aufgabentypen verallgemeinern kann. Darüber hinaus zeigen sie, wie effektiv sich die aufgabenübergreifenden Fähigkeiten von einem winzigen LLM auf mehrere LLMs mit erheblich größerem Maßstab übertragen lassen, indem sie den Retriever mit GPT-Neo-2.7B optimieren und seine Leistung auf BLOOM-7.1B, OPT-66B und GPT3 bewerten -175B.
Es wurde festgestellt, dass ChatGPT mit schwerwiegenden Halluzinationsproblemen zu kämpfen hat, was trotz seiner großartigen Fähigkeiten zu sachlich falschen Antworten führt. UPRISE kann dieses Problem bei Faktenprüfungsaufgaben lösen, indem es das Modell anweist, aus seinem bereits vorhandenen Wissen die richtigen Schlussfolgerungen abzuleiten. Wie ihre Versuche mit ChatGPT gezeigt haben, kann ihre Technik außerdem selbst die wirksamsten LLMs verbessern.
Zusammenfassend umfassen ihre Beiträge Folgendes:
• Sie entwickeln UPRISE, eine einfache und anpassungsfähige Methode zur Verbesserung der Zero-Shot-Leistung von LLMs in aufgaben- und modellübergreifenden Kontexten.
• Ihre Untersuchung zu ChatGPT zeigt das Potenzial von UPRISE, die Leistung selbst der stärksten LLMs zu steigern. UPRISE wird mit GPT-Neo-2.7B angepasst, kann aber auch verschiedenen LLMs deutlich größerer Größe zugute kommen, wie BLOOM-7.1B, OPT-66B und GPT3-175B.
