Feature Indexing für Parfumflaschen durch Deep Learning am Beispiel Parfümerie Pieper

Die Kernidee des Forschungskooperationsprojektes „Feature Indexing für Parfümflaschen durch Deep Learning (DL) am Beispiel Parfümerie Pieper“ war eine automatisierte Verbesserung der Produkt-Datenbanken des Unternehmens Parfümerie Pieper. Der aktuelle Trend im Parfumgeschäft geht in die Richtung der Nutzung von Duftflakons in sehr speziellen Formen wie in Bild 1 verdeutlicht. Dabei tritt für den Kunden der Markenname nur noch im Hintergrund auf, viel wichtiger scheint eine Identifikation mit der spannenden Form und den individuellen Ausprägungen der Duftflakons. Die Datenbankinformationen von Anbietern (bspw. Pieper) gibt aber solche Formen nicht her und sollen mit allgemeinen Begriffen aus vor trainierten DL-Netzen angereichert (engl. indexing) werden (bspw. Extrembeispiele wie Goldbarren, Teddy, Tischlampe, Frauenschuh, aber auch generelle Formen oder Farben, etc.). Vortrainierte DL-Netzwerke haben bereits eine hohe Anzahl von semantischen Feature-Labels, die hier benutzt werden. Das Projekt generierte automatisiert gute „angereicherte Features“ der Parfumflaschen Datenbank der Parfümerie Pieper. Die Verwertung der Projektergebnisse ist bereits am Laufen.

Projektziele

Die Forschungskooperation beinhaltet neben der Analyse der Bilddaten und Erprobung innovativer DL-Modelle, auch der Aufbau von zwei spezifischen Modulen (siehe auch Bild 1) damit Pieper die Indexierung der Datenbanken automatisiert und vor allem ohne viel technische Kenntnisse durchführen kann. Das erste Modul „Colour Detection Module“ erzeugt aus den Bildern der Parfumflaschen eine Liste der dominanten Farben. Filialkunden von Pieper nennen oft Farben in Verbindung mit Formen von Parfumflaschen unbekannter Hersteller. Das zweite Modul „Shape Detection Module“ nutzt DL zur Erfassung von „Formen-Features“ der Bilder von Parfumflaschen und vor trainierte DL-Netzwerke.

Projektergebnisse

Der erste wissenschaftliche Beitrag ist der gelungene Aufbau des „Colour Detection Module“ (siehe Bild 1), das verschiedene automatisierte Schritte enthält, um aus einem Bild einer Parfumflasche die nennenswerten Farben zu generieren. Da die Indexierung dazu helfen soll das Menschen ihr Parfum finden, mussten vor allem „Red, Green, and Blue (RGB)-Formate“ in „Hue, Saturation, and Ligthness (HLS)-Formate“ konvertiert werden (siehe Bild 1). Der Hintergrund ist die RGB-Formate eher für Computer optimiert sind und nicht für Menschen. HSL-Formate dagegen sind wesentlich besser verständlich für Menschen. Der zweite wissenschaftliche Beitrag ist das Modul „Shape Detection Module“ (siehe Bild 1). Ein vor trainiertes DL-Netzwerk auf ImageNet Daten hat bereits eine hohe Anzahl von semantischen Labels (bspw. Lampe, Teddy, Rotwein Dekanter, etc.), die hier benutzt werden. Daher wird ein DL-Modell verwendet das sich RESNET-50 nennt und auf ImageNet Daten trainiert wurde. Wie im Bild 1 zu sehen wird dieses vor trainierte (engl. pre-trained) DL-Netzwerk dann nach weiteren Schritten mit Parfumflaschen weiter trainiert (engl. Transfer-Learning). Dazu waren SDIL Computing Ressourcen notwendig da RESNET-50 Modelle mit bspw. 25.583.592 trainierbaren Parametern trainiert wurden.
Durch Einsatz dieser beiden Module konnte die Datenbank der Parfümerie Pieper mit neuen „Farben und Formen Features“ erfolgreich automatisiert angereichert werden. Die Automatisierung der Indexierung und Update dieser war notwendig da die Parfümerie Pieper zum Zeitpunkt des Projekts keine KI-Experten hat. Die vom Projekt erschaffen Module können auch von „nicht KI-Experten“ relativ einfach aufgerufen werden. Im Endeffekt und Einsatz in Filialen, helfen die Projektergebnisse also damit der Parfümerie Pieper Kundenanfragen wie „ich suche ein Goldbaren Parfum“ schnell und gezielt zu antworten. Vor dem Projekt enthielt die Datenbank nur Informationen wie Preis, Artikelnummern, oder Beschreibungen des Duftes wie “blumig”, aber eher nur sehr begrenzte Angaben der Duftflakons.

Nächste Schritte

Das Forschungszentrum verwertet die Projektergebnisse dieses Kooperationsprojektes bereits in dem EU-Projekt „Research on AI- and Simulation-Based Engineering at Exascale” (CoE RAISE) im Rahmen der Anwendung und Expertise von RESNET-50 und ImageNet vor trainierten Bildern (bspw. in der Fernbeobachtung). Die Verwertung der Projektergebnisse ist auch in das ON4OFF Projekt eingeflossen, wo dann mittels dieser Ansätze auch spezifische Recommender und Services erstellt wurden. Parfümerie Pieper verwertet die Ergebnisse in einer Prototyp App für initial geplante Pieper Flagship Stores.