Trotz der Aufregung um Large Language Models (LLM) leiden diese Modelle unter Illusionen, d.h. sie erzeugen faktisch falschen Text. Diese Probleme schränken die Entwicklung von produktionsreifen Anwendungen ein. Das Fraunhofer IAIS erforscht und entwickelt Ansätze zur Kombination von Knowledge Graphs (KGs) mit Large Language Models (LLMs), um industrietaugliche Anwendungen zu entwickeln und dabei Illusionsprobleme in verschiedenen Phasen des LLM-Lebenszyklus zu behandeln. Diese Ansätze reichen von pragmatischen Methoden (z.B. die Verwendung von LLMs als Bestandteil von KI-Lösungspipelines) bis hin zu anspruchsvollen Herangehensweisen, die die beiden Modalitäten von Daten, d.h. Fließtext und Fakten aus KGs, während des Vortrainings von LLMs vereinigen. Fraunhofer IAIS arbeitet mit Partnern aus der deutschen Industrie zusammen und unterstützt sie bei der Einführung von LLMs unter Verwendung von Unternehmensdaten und bei der Entwicklung von Proof of Concepts.
Das Fraunhofer IAIS hilft Ihnen, die folgenden Forschungsfragen zu beantworten
- Wie verbessert man die faktische Korrektheit und/oder das Common-Sense Verständnis von großen Sprachmodellen? Z.B., „Die Werksgarantie bei BMW-Neuwagen beträgt 6
Monate.“, „Wenn die Straße nass ist, ist der Bremsweg kürzer.“ - Wie kann der Anpassungsaufwand eines großen Sprachmodells für ein Domänespezifisches Dialogsystem reduziert werden?
- Kann man Sprachmodelle ohne (wesentliche) Performanzeinbußen verkleinern, indem man das Erlernen von Sprache und Weltwissen voneinander trennt? (Energieschonendere, und energieeffizientere Modelle in Inbetriebnahme)
Kontakt:
Diego.Collarana.Vargas@iais.fraunhofer.de
Dialogsysteme
- Integration von Wissensgraphen In Sprachmodelle
- Neue Metrik zum Evaluieren NLG-Systemen
Große Sprachmodelle
- Trainieren und Evaluieren von Modellen mit Milliarden von Parametern
Wissensgraphen & Graphenrepräsentationen
- Smart Data Connector zur Erstellung von Wissensgraphen aus Unternehmensdaten
- Umfangreichste Benchmarking Studie im Bereich Knowledge Graph Embedding Modelle
- PyKEEN: Umfangreichste Library für Knowledge Graph Embedding Modelle (> 1100 Stars auf GitHub)
- Best Paper Award auf der ISWC 2021 für „Improving Inductive Link Prediction Using Hyper-Relational Facts“
