Hinweis: Der folgende Artikel hilft Ihnen dabei: Lernen Sie ChatLLaMA kennen: Die erste Open-Source-Implementierung von LLaMA basierend auf Reinforcement Learning from Human Feedback (RLHF)
Meta hat kürzlich LLaMA veröffentlicht, eine Sammlung grundlegender großer Sprachmodelle mit 7 bis 65 Milliarden Parametern.
LLaMA sorgt für große Aufregung, weil es kleiner als GPT-3 ist, aber eine bessere Leistung bietet. Beispielsweise übertrifft die 13B-Architektur von LLaMA GPT-3, obwohl sie zehnmal kleiner ist. Diese neue Sammlung grundlegender Modelle öffnet die Tür zu einer schnelleren Inferenzleistung und chatGPT-ähnlichen Echtzeitassistenten und ist gleichzeitig kostengünstig und läuft auf einer einzigen GPU.
Allerdings wurde LLaMA nicht mit einem Reinforcement Learning from Human Feedback (RLHF)-Trainingsprozess auf Unterrichtsaufgaben abgestimmt.
Die gute Nachricht ist, dass Nebuly heute ChatLLaMA vorgestellt hat, die erste Open-Source-Implementierung von LLaMA auf Basis von RLHF:
- Eine vollständige Open-Source-Implementierung, die es Ihnen ermöglicht, einen Dienst im ChatGPT-Stil basierend auf vorab trainierten LLaMA-Modellen zu erstellen.
- Im Vergleich zum ursprünglichen ChatGPT sind der Trainingsprozess und die Einzel-GPU-Inferenz viel schneller und kostengünstiger, da die kleinere Größe der LLaMA-Architekturen genutzt wird.
- ChatLLaMA verfügt über integrierte Unterstützung für DeepSpeed ZERO, um den Feinabstimmungsprozess zu beschleunigen.
- Die Bibliothek unterstützt außerdem alle LLaMA-Modellarchitekturen (7B, 13B, 33B, 65B), sodass Sie das Modell entsprechend Ihren Präferenzen hinsichtlich Trainingszeit und Inferenzleistung optimieren können.
Wenn Ihnen das Projekt gefällt, denken Sie bitte darüber nach, einen Stern im GitHub-Repository zu hinterlassen
https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
Mit ChatLLaMA können Sie LLaMA-basierte Architekturen auf ähnliche Weise wie ChatGPT mithilfe von RLHF einfach trainieren. Nachfolgend finden Sie beispielsweise den Code zum Starten des Trainings im Fall von ChatLLaMA 7B.
aus chatllama.rlhf.trainer import RLTrainer from chatllama.rlhf.config import Config path = “path_to_config_file.yaml” config = Config(path=path) trainer = RLTrainer(config.trainer) trainer.distillate() trainer.train() Trainer .training_stats.plot()
Note dass Sie die ursprünglichen Gewichtungen von Meta und Ihren benutzerdefinierten Datensatz bereitstellen sollten, bevor Sie mit dem Feinabstimmungsprozess beginnen. Alternativ können Sie mit den Agenten von LangChain Ihren eigenen Datensatz generieren.
Python generiert_dataset.py
Nebuly hat den vollständigen Code zur Replikation der ChatLLaMA-Implementierung als Open-Source-Lösung bereitgestellt und eröffnet so jedem Benutzer die Möglichkeit, seine eigenen personalisierten ChatLLaMA-Assistenten zu optimieren. Die Bibliothek kann durch folgende Ergänzungen weiter erweitert werden:
- Kontrollpunkte mit fein abgestimmten Gewichten
- Optimierungstechniken für schnellere Inferenz
- Unterstützung beim Packen des Modells in ein effizientes Bereitstellungsframework
Alle Entwickler sind eingeladen, sich den Bemühungen von Nebuly für effizientere und offenere ChatGPT-ähnliche Assistenten anzuschließen.
Sie können auf folgende Weise teilnehmen:
- Senden Sie ein Problem oder eine PR auf GitHub
- Treten Sie ihrer Discord-Gruppe bei, um zu chatten
