ChatGPT hat eindrucksvoll gezeigt, wie das Lernen von Auswahlstrategien auf Basis von menschliches Feedback die Performance von Sprachmodellen verbessern konnte (bei der initialen Nutzbarkeit von Chat-GPT versus dem GPT-3 Basismodell). Viele der Techniken zum Fine-tuning von Sprachemodelle lassen sich direkt auch auf andere Generative Modelle übertragen (insbesondere für Bilddaten).
Das Lernen von Agenten durch Nutzerfeedback ist eine Technik die jedoch deutlich länger als existiert, und sich auch auf andere Bereiche anwenden lässt. In der Praxis ist es of schwierig dabei ist es eine geeignete Mensch-Maschine-Schnittstelle für nicht-visuelle oder sprachliche Aufgaben zu entwerfen, um Nutzer mit das Training einzubeziehen. Zum anderen ist es nicht-trivial die richtigen Beispiele für teures menschliches Feedback einzubeziehen. Auch andere Trainingsmethoden sind hier möglich um Modelle interaktiv zu verbessern.
Das KIT hat die Expertise Ihnen zu helfen sowohl das Nutzerinterface als auch die Anbindung an den Sampling oder Fine-Tuning Algorithmus zu entwerfen. Die Expertise besteht innerhalb verschiedener mensch-zemtriert arbeitenden KI-Forschungs-Gruppen sowohl im Bereich Chat-basierter Assistenten als auch im Bereich von z.B. gamifizierten Systemen zum Labeling und zur Messwerterfassung in realen Szenarien.
Grundlage für die Nutzung sind bereits bestehende Daten. Idealerweise können aktive Lernverfahren zunächst auf bereits gesammelten Daten simuliert werden, um dann im produktiven Einsatz deutliche Kosten bei der Modellverbesserung zu sparen. Alternativ sollte eine ausreichende Inszentivierung von Nutzern sichergestellt werden können, falls das System “online” entwickelt und erprobt werden soll.
