▷ So erhalten Sie mit Galactica Zugang zu wissenschaftlichem Wissen

Hinweis: Der folgende Artikel hilft Ihnen dabei: So erhalten Sie mit Galactica Zugang zu wissenschaftlichem Wissen – Auf dem Weg zur KI

Ursprünglich veröffentlicht auf Towards AI, dem weltweit führenden Nachrichten- und Medienunternehmen für KI und Technologie. Wenn Sie ein KI-bezogenes Produkt oder eine KI-bezogene Dienstleistung entwickeln, laden wir Sie ein, darüber nachzudenken, KI-Sponsor zu werden. Bei Towards AI helfen wir bei der Skalierung von KI- und Technologie-Startups. Wir helfen Ihnen dabei, Ihre Technologie der breiten Masse zugänglich zu machen.

Ein Tutorial zur Verwendung des großen Sprachmodells von Meta AI zur Durchführung wissenschaftlicher NLP-Aufgaben

Die Welt des wissenschaftlichen Wissens ist unfassbar groß. Die Suche nach relevanten Forschungsarbeiten, das Verständnis komplexer Konzepte und das Verfassen wissenschaftlicher Literatur kann insbesondere für unerfahrene Forscher entmutigend und zeitaufwändig sein. Glücklicherweise war der Zugang zu wissenschaftlichen Erkenntnissen mit dem Aufkommen des großen Sprachmodells von Meta AI noch nie so einfach.

In diesem Tutorial zeige ich Ihnen, wie Sie Galactica von Meta AI verwenden, um verschiedene wissenschaftliche NLP-Aufgaben schnell und effektiv durchzuführen. Wir behandeln Themen wie das Finden relevanter Zitate, das Erstellen wissenschaftlicher Arbeiten, die Verarbeitung multimodaler Daten (z. B. LaTeX-Gleichungen, Codefragmente, chemische Formeln usw.), die bei der Forschung häufig vorkommen, und mehr.

Was ist die Galactica von Meta AI?

Galactica ist ein großes Sprachmodell mit 120B Parametern, das auf einem kuratierten wissenschaftlichen Korpus trainiert wird. Die Trainingsdaten bestehen nicht nur aus riesigen Mengen wissenschaftlicher Literatur, sondern auch aus Datensätzen für nachgelagerte wissenschaftliche NLP-Aufgaben und speziellen Token, die wissenschaftliche Phänomene darstellen.

Die spezialisierte Tokenisierung ist ein integraler Bestandteil von Galactica, da sie es dem Modell ermöglicht, Zitate oder Prozessmodalitäten wie Proteinsequenzen oder SMILES-Formeln vorherzusagen:

Zitate: Zitate werden mit Referenztokens umschlossen [START_REF] Und [END_REF].
Argumentation: Das -Token ermöglicht schrittweises Denken durch die Nachahmung eines internen Arbeitsspeichers (wird in diesem Tutorial nicht behandelt).
LÄCHELT-Formel: SMILES-Formelsequenzen werden mit Token umschlossen [START_SMILES] Und [END_SMILES]. Für isomere SMILES, Token [START_I_SMILES] Und [END_I_SMILES] werden verwendet.
Aminosäuresequenzen: Aminosäuresequenzen werden mit Token umwickelt [START_AMINO] Und [END_AMINO].
DNA-Sequenzen: DNA-Sequenzen werden mit Token umhüllt [START_DNA] Und [END_DNA].

Meta AI berichtet, dass der generative Ansatz von Galactica zur Zitationsvorhersage Retrieval-Ansätze übertrifft, was das Potenzial von Sprachmodellen zeigt, Suchmaschinen zu ersetzen. Darüber hinaus übertrifft Galactica bestehende Methoden bei Benchmarks für Denkaufgaben (z. B. MMLU und MATH) und setzt einen neuen Stand der Technik bei mehreren nachgelagerten wissenschaftlichen NLP-Aufgaben (z. B. PubMedQA und MedMCOA).

Trotz ihrer leistungsstarken Fähigkeiten, ähnlich wie die meisten Sprachmodelle, ist Galactica anfällig für: Das heißt, das Modell gibt in einigen Fällen unsinnige Ergebnisse aus. Daher sollten Forscher, die Galactica nutzen, die generierten Ergebnisse immer einer Faktenprüfung unterziehen.

So verwenden Sie Galactica

Auf Galactica kann über die Galai-Python-Bibliothek zugegriffen werden. Sie können das Modell mit „load_model“ herunterladen.

Galai als Gal importieren

model = gal.load_model(name=”standard”, num_gpus=2)

Das Namensargument dient dem Namen der zu verwendenden Modellversion. Es sind fünf Versionen des Modells verfügbar („Mini“, „Basis“, „Standard“, „Groß“, „Riesig“), jede mit unterschiedlicher Parametergröße (jeweils 125M, 1,3B, 6,7B, 30B, 120B). .
Das num_gpus-Argument bezieht sich auf die Anzahl der zu verwendenden GPUs. Ich konnte die „Standard“-Version auf zwei NVIDIA RTX 3090-GPUs laden; Das Modell benötigte für jedes Gerät etwa 19 GB Speicher.

Textgenerierung

Ähnlich wie bei den meisten großen Sprachmodellen formuliert Galactica jede NLP-Aufgabe als Textgenerierung. Mit „Generieren“ können Sie Text generieren.

# free-form text generationinput_text = „Der Grund, warum Transformers RNNs ersetzt haben, war, weil“

generierter_text = model.generate(input_text=input_text, max_length=256, new_doc=False, top_p=None)print(generated_text)

„“„Der Grund, warum Transformers RNNs ersetzten, war, dass sie langfristige Abhängigkeiten in der Eingabesequenz erfassen konnten.

# 2.2.2. Aufmerksamkeitsmechanismus

Der Aufmerksamkeitsmechanismus wurde eingeführt [START_REF] Neuronale maschinelle Übersetzung durch gemeinsames Lernen des Ausrichtens und Übersetzens, Bahdanau[END_REF] um die Leistung des Encoder-Decoder-Modells zu verbessern …“

Der Eingabetext ist der Eingabekontext, den das Modell für seine Generierung verwenden soll. Auf die anderen erweiterten Funktionen der Galactica kann durch sofortiges Engineering des Eingabekontexts zugegriffen werden.
Die max_length ändert die maximale Tokenlänge des generierten Textes. Der Standardwert beträgt 60 Token, daher sollte max_length für längere Generationen auf einen höheren Wert gesetzt werden. Die maximale Kontextlänge des Modells beträgt 2048 Token.
Wenn new_doc auf „True“ gesetzt ist, wird automatisch ein Auffülltoken an den Anfang des Eingabetexts angehängt, sodass das Modell ihn als Anfang eines neuen Dokuments behandelt. Für die Generierung von Freiformtext sollte new_doc auf False gesetzt werden.
Das Argument top_p dient der Kernprobenahme. Wenn die generierten Ergebnisse zu repetitiv erscheinen, legen Sie den Wert auf einen Gleitkommawert zwischen 1 und 0 fest, z. B. 0,9. Andernfalls ist top_p standardmäßig „None“ und es wird eine gierige Dekodierung verwendet.

Papiere und Umfragen

Mithilfe von Prompt Engineering können Sie mit Galactica verschiedene Arten akademischer Literatur generieren. Wenn eine Eingabeaufforderung so gestaltet ist, dass sie einer bestimmten Art von Dokument ähnelt, gilt dies auch für ihre Vervollständigung. Für Papierdokumente verwenden Sie Titel:.

# write paper documentinput_text = “Titel: Self-Supervised Learning, A Survey\n\nAutoren: John Smith\n\n”

generierter_text = model.generate(input_text, new_doc=True)print(generierter_text)

Titel: Selbstüberwachtes Lernen, eine Umfrage

Autoren: John Smith

# Abstrakt

Selbstüberwachtes Lernen ist eine Klasse von Methoden des maschinellen Lernens, die Darstellungen von Daten lernen, ohne dass vom Menschen bereitgestellte Etiketten erforderlich sind.\nIn dieser Umfrage geben wir einen umfassenden Überblick über das Gebiet.

Diese Funktionalität ist besonders nützlich, wenn Sie eine umfassende Umfrage zu einem bestimmten Thema benötigen. Gestalten Sie die Eingabeaufforderung einfach als Titel: THEMA, eine Umfrage und Galactica generiert automatisch eine für Sie.

Vorlesungsunterlagen und Wikipedia-Artikel

Bei Artikeln oder Vorlesungsnotizen im Wikipedia-Stil beginnen Sie die Eingabeaufforderung mit #.

# Artikel im Wiki-Stil generiereninput_text = “# Multi-Head Attention\n\n”

generierter_text = model.generate(input_text, new_doc=True)print(generierter_text)

“””# Mehrköpfige Aufmerksamkeit

Der Mehrkopf-Aufmerksamkeitsmechanismus ist eine Verallgemeinerung des Einzelkopf-Aufmerksamkeitsmechanismus. Der Mehrkopf-Aufmerksamkeitsmechanismus ist eine Kombination mehrerer Einzelkopf-Aufmerksamkeitsmechanismen. Der Mehrkopf-Aufmerksamkeitsmechanismus ist in Abbildung 2 dargestellt.

Die Multi-…”””

# Vorlesungsnotizen generiereninput_text = “# Vorlesung 1: Das Ising-Modell\n\n”

generierter_text = model.generate(input_text, new_doc=True)print(generierter_text)

“””# Vorlesung 1: Das Ising-Modell

# 1.1 Das Ising-Modell

Das Ising-Modell ist ein einfaches Modell des Ferromagnetismus. Es wurde 1920 von Lenz eingeführt [[START_REF] Beitrag zur Theorie des Ferromagnetismus, Ising[END_REF]]”””

Zitiervorhersage

Galactica basiert auf einem großen wissenschaftlichen Korpus, der mehr als 360 Millionen kontextbezogene Zitate und über 50 Millionen eindeutige Referenzen umfasst, die über eine Vielzahl von Quellen normalisiert sind. Dadurch kann das Modell Zitate vorschlagen und bei der Suche nach verwandten Artikeln helfen. Zitate werden dargestellt als [START_REF] TITEL, AUTOR [END_REF].

Suchen

Um nach einem Aufsatz zu suchen, der ein bestimmtes Thema behandelt, nutzen Sie die folgende Eingabeaufforderung: PAPIERTHEMA [START_REF]. Seit der [START_REF] Wenn ein Token an das Ende des Eingabekontexts angehängt wird, würde Galactica es als Anfang eines Zitats behandeln und den Rest vervollständigen.

# search citationinput_text = „Ein NLP-Artikel, der verschiedene Arten der Kodierung von Positionen in Transformer-basierten Architekturen vergleicht“

generierter_text = model.generate(input_text + “[START_REF]”)print(generated_text)

“””Ein NLP-Artikel, der verschiedene Arten der Kodierung von Positionen in Transformer-basierten Architekturen vergleicht [START_REF] Zu Positionseinbettungen in BERT, Wang[END_REF]„““

Vorhersage

Anstatt explizit nach einem Zitat zu suchen, können Sie Galactica auch auffordern, einen relevanten Artikel innerhalb eines Dokuments vorzuschlagen. Das Modell wurde anhand zahlreicher wissenschaftlicher Texte trainiert, die Darstellungen impliziter Zitiergraphen enthalten. Geben Sie daher eine Eingabeaufforderung wie TEXT ein [START_REF]Galactica kann automatisch Zitate vorschlagen, die für den TEXT relevant sind.

# Predict citationinput_text = “””Rekurrente neuronale Netze, insbesondere das lange Kurzzeitgedächtnis und Gated Recurrent Neuronale Netze, haben sich als hochmoderne Ansätze bei Sequenzmodellierungs- und Transduktionsproblemen wie Sprachmodellierung und maschineller Übersetzung fest etabliert. “””

generierter_text = model.generate(input_text + “[START_REF]”)print(generated_text)

„“„Rekurrente neuronale Netze, insbesondere das lange Kurzzeitgedächtnis und Gated-rekurrente neuronale Netze, haben sich als hochmoderne Ansätze bei Sequenzmodellierungs- und Transduktionsproblemen wie Sprachmodellierung und maschineller Übersetzung fest etabliert.“ [START_REF] Auf einem wiederkehrenden neuronalen Netzwerk basierendes Sprachmodell, Mikolov[END_REF][START_REF] Sequenz-zu-Sequenz-Lernen mit neuronalen Netzen, Sutskever[END_REF][START_REF] Neuronale maschinelle Übersetzung durch gemeinsames Lernen des Ausrichtens und Übersetzens, Bahdanau[END_REF] …”””

Ist Generieren besser als Retrieval?

Man könnte Zweifel daran haben, sich bei der Zitationsvorhersage auf Galactica zu verlassen, da große Sprachmodelle bekanntermaßen Inhalte produzieren, die alles andere als sachlich sind. Meta AI berichtet jedoch, dass der generative Ansatz von Galactica bei Aufgaben zur Zitationsvorhersage die abgestimmten Sparse- und Dense-Retrieval-Ansätze übertrifft. Galactica ist alles andere als perfekt, aber die Experimente zeigen, dass das Modell bessere Ergebnisse liefert als herkömmliche Suchmaschinen.

Nachgelagerte NLP-Aufgaben

Sie können Galactica für herkömmliche nachgelagerte NLP-Aufgaben wie Zusammenfassung, Entitätsextraktion und Fragebeantwortung verwenden. Während allgemeine Sprachmodelle möglicherweise Schwierigkeiten mit der wissenschaftlichen Terminologie oder dem medizinischen Fachjargon haben, ist dies bei Galactica nicht der Fall. Meta AI berichtet beispielsweise, dass das Modell ein neues, hochmodernes Ergebnis bei den Frage-Antwort-Benchmarks PubMedQA und MedMCOA erzielt; Beides sind Aufgaben, die ein umfassendes Verständnis hochrangiger biomedizinischer Konzepte erfordern.

Zusammenfassung

Um eine Zusammenfassung zu erhalten, fügen Sie einfach TLDR: am Ende des Dokuments hinzu.

# summarizationinput_text = “””Informationsüberflutung ist ein großes Hindernis für den wissenschaftlichen Fortschritt. Das explosionsartige Wachstum der wissenschaftlichen Literatur und Daten hat es immer schwieriger gemacht, nützliche Erkenntnisse in einer großen Menge an Informationen zu finden. Heutzutage wird wissenschaftliches Wissen über Suchmaschinen abgerufen, aber Sie sind nicht in der Lage, wissenschaftliches Wissen allein zu organisieren. In diesem Artikel stellen wir Galactica vor: ein großes Sprachmodell, das wissenschaftliches Wissen speichern, kombinieren und darüber nachdenken kann. Wir trainieren auf einem großen wissenschaftlichen Korpus aus Artikeln, Referenzmaterial, Wissensdatenbanken und vielen anderen Quellen . Wir übertreffen bestehende Modelle bei einer Reihe wissenschaftlicher Aufgaben. Bei technischen Wissenstests wie LaTeX-Gleichungen übertrifft Galactica das neueste GPT-3 um 68,2 % gegenüber 49,0 %. Galactica schneidet auch beim Denken gut ab und übertrifft Chinchilla bei mathematischer MMLU um 41,3 %. auf 35,7 % und PaLM 540B bei MATH mit einer Punktzahl von 20,4 % gegenüber 8,8 %. Es setzt auch einen neuen Stand der Technik bei nachgelagerten Aufgaben wie PubMedQA und MedMCQA dev von 77,6 % und 52,9 %. Und obwohl Galactica nicht auf einem allgemeinen Korpus trainiert wurde, übertrifft sie BLOOM und OPT-175B auf der BIG-Bank. Wir glauben, dass diese Ergebnisse das Potenzial von Sprachmodellen als neue Schnittstelle für die Wissenschaft verdeutlichen. Wir veröffentlichen das Modell als Open Source zum Nutzen der wissenschaftlichen Gemeinschaft.

generierter_text = model.generate(input_text + “\n\nTLDR:”, max_length=400)print(generated_text)

„“„Die Informationsüberflutung stellt ein großes Hindernis für den wissenschaftlichen Fortschritt dar. Das explosionsartige Wachstum der wissenschaftlichen Literatur und Daten hat es immer schwieriger gemacht, aus einer großen Informationsmenge nützliche Erkenntnisse zu gewinnen. Der Zugriff auf wissenschaftliche Erkenntnisse erfolgt heute über Suchmaschinen, dies ist jedoch nicht möglich um wissenschaftliches Wissen allein zu organisieren. In diesem Artikel stellen wir Galactica vor: ein großes Sprachmodell, das wissenschaftliches Wissen speichern, kombinieren und begründen kann. Wir trainieren auf einem großen wissenschaftlichen Korpus von Artikeln, Referenzmaterial, Wissensdatenbanken und vielen anderen Quellen. Wir übertreffen vorhandene Modelle bei einer Reihe wissenschaftlicher Aufgaben. Bei technischen Wissenstests wie LaTeX-Gleichungen übertrifft Galactica das neueste GPT-3 um 68,2 % gegenüber 49,0 %. Galactica schneidet auch bei Argumentation gut ab und übertrifft Chinchilla bei mathematischer MMLU um 41,3 % bis 35,7 %. und PaLM 540B bei MATH mit einer Punktzahl von 20,4 % gegenüber 8,8 %. Es setzt auch einen neuen Stand der Technik bei nachgelagerten Aufgaben wie PubMedQA und MedMCQA dev von 77,6 % und 52,9 %. Und obwohl Galactica nicht auf einem allgemeinen Korpus trainiert wurde, übertrifft sie BLOOM und OPT-175B auf der BIG-Bank. Wir glauben, dass diese Ergebnisse das Potenzial von Sprachmodellen als neue Schnittstelle für die Wissenschaft verdeutlichen. Wir veröffentlichen das Modell als Open Source zum Nutzen der wissenschaftlichen Gemeinschaft.

TLDR: Wir stellen Galactica vor, ein großes Sprachmodell, das wissenschaftliche Erkenntnisse speichern, kombinieren und begründen kann.“””

Entitätsextraktion

Sie können Entitäten aus Dokumenten in einem Frage-Antwort-Format extrahieren. Gestalten Sie die Eingabeaufforderung wie folgt: TEXT\n\nF:Welche wissenschaftlichen Einheiten werden in der obigen Zusammenfassung erwähnt?\n\nA:. Abhängig vom Thema des Dokuments können Sie wissenschaftliche Einheiten durch einen domänenspezifischeren Begriff ersetzen, beispielsweise biomedizinische Einheiten.

# entity extractinput_text = “””Informationsüberflutung ist ein großes Hindernis für den wissenschaftlichen Fortschritt. Das explosionsartige Wachstum der wissenschaftlichen Literatur und Daten hat es immer schwieriger gemacht, nützliche Erkenntnisse in einer großen Menge an Informationen zu finden. Der Zugriff auf wissenschaftliche Erkenntnisse erfolgt heute über Suchmaschinen, Aber sie sind nicht in der Lage, wissenschaftliches Wissen alleine zu organisieren. In diesem Artikel stellen wir Galactica vor: ein großes Sprachmodell, das wissenschaftliches Wissen speichern, kombinieren und darüber nachdenken kann. Wir trainieren auf einem großen wissenschaftlichen Korpus aus Artikeln, Referenzmaterial, Wissensdatenbanken und vielem mehr Quellen. Wir übertreffen bestehende Modelle bei einer Reihe wissenschaftlicher Aufgaben. Bei technischen Wissenstests wie LaTeX-Gleichungen übertrifft Galactica das neueste GPT-3 um 68,2 % gegenüber 49,0 %. Galactica schneidet auch beim Denken gut ab und übertrifft Chinchilla bei mathematischer MMLU um 41,3 % auf 35,7 % und PaLM 540B bei MATH mit einer Punktzahl von 20,4 % gegenüber 8,8 %. Es setzt auch einen neuen Stand der Technik bei nachgelagerten Aufgaben wie PubMedQA und MedMCQA dev von 77,6 % und 52,9 %. Und obwohl Galactica nicht auf einem allgemeinen Korpus trainiert wurde, übertrifft sie BLOOM und OPT-175B auf der BIG-Bank. Wir glauben, dass diese Ergebnisse das Potenzial von Sprachmodellen als neue Schnittstelle für die Wissenschaft verdeutlichen. Wir veröffentlichen das Modell zum Nutzen der wissenschaftlichen Gemeinschaft als Open Source.

generierter_text = model.generate(input_text + query, max_length=400)print(generated_text)

F: Welche wissenschaftlichen Einheiten werden in der obigen Zusammenfassung erwähnt?

A: LaTeX-Gleichungen, mathematische MMLU, MATH, PubMedQA, MedMCQA, BIG-bench“””

Beantwortung von Fragen

In der Arbeit stellen die Autoren Fragen mit „Q:“ oder „Frage:“ voran. Ein typisches Format ist Frage: QUERY\n\nAntwort:.

# Frageantwortquery = „Was ist der Notch-Signalweg?“input_text = f“Frage: {query}\n\nAntwort:“

generierter_text = model.generate(input_text)print(generierter_text)

„Frage: Was ist der Notch-Signalweg?

Antwort: Der Notch-Signalweg ist ein Zell-Zell-Kommunikationsweg, der Entscheidungen über das Zellschicksal während der Entwicklung reguliert. Es ist an der Zellproliferation, Differenzierung, Apoptose und Zellmigration beteiligt. Der Notch-Signalweg wird durch die Bindung von … aktiviert.

Multimodale Aufgaben

Wie oben erwähnt, kann Galactica andere Modalitäten als unstrukturierten Text verarbeiten, wie etwa LaTeX-Gleichungen, Code, SMILES-Formel, DNA-Sequenzen und Aminosäuresequenzen. Das Modell verwendet aufgabenspezifische Token, um verschiedene Formen wissenschaftlicher Erkenntnisse zu unterstützen. Dieses Design ermöglicht es Benutzern, multimodale Aufgaben zu bewältigen, die Interaktionen zwischen natürlicher Sprache und Darstellungen wissenschaftlicher Phänomene beinhalten.

Mathematik

Mathematische Gleichungen werden als LaTeX dargestellt. Galactica umschließt LaTeX-Gleichungen mit Klammern \[ EQUATION \]um mathematische Beschreibungen zu generieren, achten Sie darauf, Ihre Eingabeaufforderung mit einem \ zu beenden.[. Here is an example of predicting a LaTeX equation given a natural language description.

# predict math formulainput_text = “The Schwarzschild radius is defined as: “

generated_text = model.generate(input_text + “\[“)print(generated_text)

“””The Schwarzschild radius is defined as: \[r_{s}=\frac{2GM}{c^{2}}\]„““

Wenn die Umwandlung natürlicher Sprache in Mathematik möglich ist, gilt dies auch umgekehrt. Galactica kann fließend zwischen Modalitäten übersetzen, einschließlich der Mathematik in die natürliche Sprache. Diese Funktionalität wäre besonders nützlich, wenn in einer Forschungsarbeit auf eine nicht entzifferbare mathematische Formel gestoßen wird.

# Mathe-Formel in natürliche Sprache übersetzenmath_formula= “\[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]„input_text = f“Frage: Übersetzen Sie die folgende mathematische Formel: {math_formula} in einfaches Englisch.\n\nAntwort:“

generierter_text = model.generate(input_text, max_length=128)print(generierter_text)

“””Frage: Übersetzen Sie die folgende mathematische Formel: \[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\] ins einfache Englisch.

Antwort: Die Riemannsche Zetafunktion ist die Summe der Kehrwerte aller positiven ganzen Zahlen hoch s.

Interessanterweise hat die Galactica irgendwie gelernt, mathematische Gleichungen in Code umzuwandeln.

# mathematische Formel in Code übersetzenmath_formula= “\[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]„input_text = f“Frage: Übersetzen Sie die folgende mathematische Formel: {math_formula} in Python-Code.\n\nAntwort:“

generierter_text = model.generate(input_text, max_length=128)print(generierter_text)

“””Frage: Übersetzen Sie die folgende mathematische Formel: \[\zeta(s) = \sum_{n=1}^{\infty} n^{-s}\]in Python-Code.

Antworten:

def zeta(s):return sum(n**(-s) for n in range(1, 1000000))”””

Code

Hier ist eine Demonstration der Übersetzung eines Codeausschnitts in eine Beschreibung in natürlicher Sprache und eine mathematische Beschreibung.

# Code in natürliche Sprache übersetzencode_snippet = “””def günstigsteProduct(products: List[Product]) -> Produkt:return min(products, key=lambda p: p.price)”””

input_text = f”Frage: Übersetzen Sie den folgenden Python-Code:{code_snippet}\nin einfaches Englisch\n\nAntwort:”

generierter_text = model.generate(input_text)print(generierter_text)

„““Frage: Übersetzen Sie den folgenden Python-Code:

auf jeden Fall günstigstesProdukt(Produkte: Liste[Product]) -> Produkt:return min(products, key=lambda p: p.price)

ins einfache Englisch.

Antwort: Die Funktion gibt das Produkt mit dem niedrigsten Preis zurück.

# Code in mathematische Formel übersetzeninput_text = f”Frage: Übersetzen Sie den folgenden Python-Code:{code_snippet}\nin mathematische Formel\n\nAntwort:”

generierter_text = model.generate(input_text)print(generierter_text)

„““Frage: Übersetzen Sie den folgenden Python-Code:

auf jeden Fall günstigstesProdukt(Produkte: Liste[Product]) -> Produkt:return min(products, key=lambda p: p.price)

in eine mathematische Formel umwandeln.

Antwort: \operatorname{argmin}_{p \in \text{products}} p.\text{price}”””

Chemisches Verständnis

Galactica kann die Organisation chemischer Informationen unterstützen, indem es eine Schnittstelle zu SMILES-Daten bereitstellt. SMILES-Formeln stellen chemische Strukturen als Folge von Zeichen dar und erscheinen neben Beschreibungen in natürlicher Sprache oder IUPAC-Namen (Methode zur Benennung organischer Verbindungen) im Galactica-Trainingskorpus. Dies weist darauf hin, dass das Modell möglicherweise gelernt hat, IUPAC-Namen anhand einer SMILES-Formeleingabe vorherzusagen.

Entwerfen Sie für die IUPAC-Namensvorhersage eine Eingabeaufforderung ähnlich einem PubChem-Dokument –[START_I_SMILES]LÄCHELN_FORMULA [END_I_SMILES]\n\n## Chemische und physikalische Eigenschaften\n\nIm Folgenden sind die chemischen Eigenschaften aufgeführt.

# IUPAC-Name Predictionsmiles_formula = “C(C(=O)O)N”input_text = f”[START_I_SMILES]{smiles_formula}[END_I_SMILES]\n\n## Chemische und physikalische Eigenschaften\n\nIm Folgenden sind die chemischen Eigenschaften aufgeführt für:

generierter_text = model.generate(input_text)print(generierter_text)

„““[START_I_SMILES]C(C(=O)O)N[END_I_SMILES]

## Chemische und physikalische Eigenschaften

Im Folgenden sind die chemischen Eigenschaften von 2-Amino-2-oxoessigsäure aufgeführt.

# Note Das ist eine falsche Vorhersage. Die IUPAC-Namensvorhersage scheint mit dem Standardmodell (6.7B) nicht gut zu funktionieren.

Biologisches Verständnis

Die Fähigkeit der Galactica, biologische Modalitäten (z. B. DNA- und Aminosäuresequenzen) zu verarbeiten, könnte möglicherweise eine Rolle bei der Organisation biomedizinischer Informationen spielen. Beispielsweise kann das Modell Proteinsequenzen mit funktionalen Schlüsselwörtern annotieren. Die Autoren behaupten, dass das Modell gelernt hat, Sequenzen mit ähnlichen Sequenzen abzugleichen, die es im Training gesehen hat, und dies zur Vorhersage der funktionalen Schlüsselwörter verwenden kann.

Eingabeaufforderungen zur Proteinannotation können wie folgt gestaltet werden:[START_AMINO]AMINO_ACID_SEQUENCE [END_AMINO]\n\n## Schlüsselwörter.

# Protein Functional Keyword Predictionprotein_seq = „GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP“input_text = f“[START_AMINO]{protein_seq}[END_AMINO]\n\n## Schlüsselwörter”

generierter_text = model.generate(input_text, max_length=512)print(generierter_text)

„““[START_AMINO]GHMQSITAGQKVISKHKNGRFYQCEVVRLTTETFYEVNFDDGSFSDNLYPEDIVSQDCLQFGPPAEGEVVQVRWTDGQVYGAKFVASHPIQMYQVEFEDGSQLVVKRDDVYTLDEELP[END_AMINO]

## Schlüsselwörter

Zytoplasma, Methyltransferase, rRNA-Verarbeitung, S-Adenosyl-L-Methionin, Transferase

Abschluss

Dieses Tutorial bietet einen Überblick darüber, wie Galactica von Meta AI Benutzern den Zugang zu wissenschaftlichem Wissen ermöglicht und dieses Wissen nutzt, um eine Vielzahl wissenschaftlicher NLP-Aufgaben zu bewältigen. Diese Aufgaben reichen von der Erstellung wissenschaftlicher Literatur bis zur Verarbeitung multimodaler Daten, und alle diese Aufgaben könnten potenziell eine Rolle bei wissenschaftlichen Entdeckungen spielen. Obwohl das Modell alles andere als perfekt ist, zeigen die Experimente, dass die Vorhersagen des Modells herkömmliche Methoden oft übertreffen können. Die beeindruckende Leistung und Benutzerfreundlichkeit des Modells sind eine weitere Untersuchung und Erkundung wert. Ich hoffe, dass wir in Zukunft weiter erforschen können, wie große Sprachmodelle wie diese die wissenschaftliche Forschung und den Wissenschaftsprozess selbst unterstützen können.

Wie man mit Galactica auf wissenschaftliche Erkenntnisse zugreifen kann, wurde ursprünglich in Towards AI auf Medium veröffentlicht, wo die Leute das Gespräch fortsetzen, indem sie diese Geschichte hervorheben und darauf reagieren.

Veröffentlicht über Towards AI

So erhalten Sie mit Galactica Zugang zu wissenschaftlichem Wissen – Auf dem Weg zur KI

Ein Tutorial zur Verwendung des großen Sprachmodells von Meta AI zur Durchführung wissenschaftlicher NLP-Aufgaben

Was ist die Galactica von Meta AI?

So verwenden Sie Galactica

Textgenerierung

Papiere und Umfragen

Vorlesungsunterlagen und Wikipedia-Artikel

Zitiervorhersage

Suchen

Vorhersage

Ist Generieren besser als Retrieval?

Nachgelagerte NLP-Aufgaben

Zusammenfassung

Entitätsextraktion

Beantwortung von Fragen

Multimodale Aufgaben

Mathematik

Code

Chemisches Verständnis

Biologisches Verständnis

Abschluss

Mehr lesen: