EmmA-Projekt

Avatar als psychologischer Assistent auf dem Smartphone

Avatar "Emma" kann Gesichtsausdrücke deutenAugsburg, April 2023 - Das Institut für Informatik der Universität Augsburg hat im EmmA-Projekt einen Avatar als Coaching-Assistenten zur psychologischen Unterstützung in beruflichen Belastungsphasen entwickelt. Er kann auf mobilen Endgeräten emotionale Stimmungslagen der Nutzerinnen und Nutzer erkennen und in Echtzeit angemessen darauf reagieren. Dahinter stehen maschinelles Lernen und komplexe Datenverarbeitungsprozesse. Die Ergebnisse des Projekts kommen u.a. in einem internationalen Verbundprojekt zum Einsatz, um gefährdeten Personen den Zugang zu personalisierten psychosozialen Diensten zu verschaffen.

Am Lehrstuhl für Menschzentrierte Künstliche Intelligenz an der Universität Augsburg wurde ein interaktives Assistenzsystem speziell für mobile Endgeräte entwickelt. Es bietet eine neue, tagebuchartige Erhebungs- und individuelle Coaching-Methode im Bereich der Stressbewältigung. Es kann für die Gefährdungsbeurteilung psychischer Belastungen am Arbeitsplatz und bei der betrieblichen Wiedereingliederung genutzt werden. In dem BMBF-geförderten EmmA-Projekt (Kurzform für Emotionaler mobiler Avatar als Coaching-Assistent) wurde die von der Universität Augsburg entwickelte multimodale Echtzeit-Sensoranalyse an einen virtuellen Avatar gekoppelt. Basierend auf einem sozio-emotionalen Verhaltensmodell reagiert der Avatar auf die sensorischen Hinweisreize von Nutzerinnen und Nutzern.
Der Lehrstuhl unter der Leitung von Professorin Elisabeth André hat sich in der Künstlichen Intelligenz-Forschung seit über 15 Jahren auf Mensch-Maschine-Interaktionen spezialisiert und zählt weltweit zu den Vorreitern auf dem Gebiet der maschinellen multimodalen Verhaltensanalyse.
"Die von uns entwickelte Software ermöglicht die synchronisierte Aufzeichnung und Analyse von affektiven Verhaltensmerkmalen. Zusammen mit Kolleginnen und Kollegen aus der klinischen Psychologie untersuchen wir, welchen Aufschluss solche Signale auf den mentalen Gesundheitszustand von Menschen geben, um rechtzeitig geeignete therapeutische Maßnahmen einzuleiten", so André.
Im EmmA Projekt wurde die Erkennungssoftware für mobile Endgeräte weiterentwickelt und an einen Avatar gekoppelt. Dies erlaubt es, gefährdeten Personen außerhalb einer Therapiesitzung eine Art persönliches Tagebuch mit dem Avatar zu führen. Er dient zum einen als personalisiertes Assistenzsystem, zum anderen ersetzt er klassische Fragebogenverfahren, die dem Therapeuten Aufschluss über den Gesundheitszustand des Patienten geben.

Die größte Herausforderung: ein menschlicher Dialog
Die vom Avatar vermittelten Botschaften basieren auf verhaltenstherapeutischen Modellen, die helfen, den Dialog ziel- und evidenzorientiert zu gestalten. Dabei fließen die vom Nutzer ausgesendeten multimodalen Signale in den Dialog ein, um den Avatar angemessen und menschlich reagieren zu lassen. Die Umsetzung ist komplex, weil nicht nur Gesichtsmerkmale, Gestik oder Sprechweise der Nutzer über die Sensoren (Kamera, Mikrophon) im Mobilgerät zunächst korrekt verstanden, sondern gleichzeitig auch Hintergrundgeräusche herausgefiltert werden müssen. Beispielsweise könnte ein Nutzer von belastenden Problemen am Arbeitsplatz berichten, das Programm aus Stimmlage und Gesichtsausdruck Traurigkeit und Anzeichen für einen Erschöpfungszustand herauslesen. Der Avatar würde daraufhin gezielt konkretisierende Fragen stellen, um am Ende eine Entspannungsmeditation anzubieten.
Damit all das funktioniert, ist ein komplexes Zusammenspiel unter anderem von effizienten Modellarchitekturen für die Datenverarbeitung, flexiblen Schnittstellen, Berechnungen auf den Endgeräten, Zugriff auf vorab trainierte Modelle, neuronal strukturierte Online-Lernverfahren und Applikationen zur Übertragung notwendig.
"Der im Projekt verwendete Ansatz stellt das Maximum der aktuell verfügbaren technischen Möglichkeiten dar", erklärt Michael Dietz, wissenschaftlicher Mitarbeiter am Lehrstuhl für Menschzentrierte Künstliche Intelligenz. "Unser Ziel war eine gute Balance zwischen der Genauigkeit der Erkennung und den Ressourcen, die das Modell zur Ausführung benötigt. Zum Schutz der Privatsphäre sollen die sensiblen Daten nicht an einen Cloud-basierten Dienst zur Verarbeitung übertragen werden, sondern auf dem jeweiligen Endgerät verbleiben. Auf mobilen Endgeräten stehen jedoch nur begrenzte Rechenressourcen zur Verfügung. Eine Herausforderung, die wir gelöst haben."

Niederschwelliger Zugang zu Hilfsangeboten
Konkreter Anlass für das EmmA-Projekt ist die alarmierende Entwicklung, dass die Zahl der Arbeitsausfälle aufgrund von psychischen Belastungen seit Jahren kontinuierlich steigt. Deshalb hatte der Gesetzgeber bereits 2013 das Arbeitsschutzgesetz um eine psychische Gefährdungsbeurteilung erweitert. Obwohl dazu verpflichtet, setzt sie bis heute weniger als ein Viertel aller Betriebe um. Das in Augsburg entwickelte mobile Assistenzsystem kann dazu beitragen, Erwerbstätigen bei psychischer Belastung individuell und auf niederschwellige Art zur Seite zu stehen. Eine Psychotherapie soll es ausdrücklich nicht ersetzen, sondern im Alltag unterstützend wirken. Gerade zurückhaltende Menschen, die Angst vor negativen Reaktionen haben, können besonders davon profitieren, weil sie einem Avatar gegenüber eine geringere Hemmschwelle haben.

Weitere Einsatzmöglichkeiten in Aussicht
Während der Projektentwicklung wurden auch Nutzer- und Akzeptanzstudien durchgeführt und in das lernende System eingespeist. "Wir müssen nicht nur an technischen Lösungen arbeiten, sondern auch die ethischen, rechtlichen und sozialen Implikationen des Einsatzes solcher Assistenzen im Blick behalten", so Prof. Elisabeth André.
Die Erkenntnisse aus dem EmmA-Projekt werden in dem ebenfalls BMBF-geförderten Nachfolgeprojekt UBIDENZ (Ubiquitäre Digitale Empathische Therapieassistenz) genutzt. Dabei soll ein Assistenzsystem entwickelt werden, das Depressionserkrankte im Anschluss an eine stationäre Behandlung begleitet.
Die in Augsburg entwickelte Software zur multimodalen Verhaltensanalyse ist außerdem ein zentraler Baustein des Tōku Hoa Projekts, das die University of Auckland in Neuseeland federführend für mehrere renommierte Institutionen weltweit durchführt. Tōku Hoa ist der Māori-Sprache entnommen und bedeutet "Mein bester Freund". Ein digitaler Freund soll psychisch gefährdeten Personen als persönlicher Begleiter zur Verfügung stehen.