Durch maschinelle Lernverfahren erstellte Modelle verlieren ihre Gültigkeit, wenn sich die statistischen Eigenschaften der Eingabedaten, auf denen sie operieren, ändern. Solche Änderungen bezeichnet man als Drift. Ursachen können vielfältig sein, wie z.B. saisonale Effekte, Verschleiß in Maschinen, Materialermüdung, Änderungen der Sensorparameter, uvm. Besonders für Regressions-Modelle sind derzeit nur wenige Methoden bekannt, die die Verschlechterung der Vorhersagegenauigkeit erkennen und wiederherstellen können.
Wir haben ein spezialisiertes Framework entwickelt, welches sich auf die automatische Erkennung von Drift in Regression-Modellen konzentriert. Die Methoden des Frameworks analysieren die Leistung eines Modells fortlaufend und erkennen das Auftreten von Drifts automatisch.
Manche Ansätze setzen dabei auf Heuristiken, wie die Überwachung des Fehlers eines Models, während andere Ansätze sich an Methoden der Statistische Prozesskontrolle (SPC) bedienen. Sobald ein Drift festgestellt wird, ermöglicht unser Framework die Ausgabe von Benachrichtigungen oder das automatische Ergreifen von Maßnahmen, um das betroffene Modell des maschinellen Lernens zu aktualisieren oder neu zu trainieren. Die Verwendung ermöglicht es Entwicklern, Drift in ihren Modellen schnell zu identifizieren, darauf zu reagieren und die Vorhersagegenauigkeit im laufenden Betrieb aufrechtzuerhalten.
constanze.hasterok [at] iosb.fraunhofer.de
