Mimik decodieren

Judith, wie können Maschinen denn Mimik erkennen und verstehen?

Einige unserer mimischen Ausdrücke zeigen sich universell auf die gleiche Weise und sind wahrscheinlich in unserer DNA eingeschrieben. Diese Ausdrücke wurden erstmals von Paul Ekman und Wallace Friesen erforscht und unter dem Begriff „Basisemotionen zusammengefasst“. Dazu gehören Freude, Wut, Trauer, Angst, Ekel, Überraschung und Verachtung. Die Universalität dieser Basisemotionen ist für uns von herausragender Bedeutung, weil es bedeutet, dass wir unabhängig von Kultur, Sprache oder Fremdheit die Gefühle eines Gegenübers erkennen können. Die Basisemotionen geben uns eine grundlegende Orientierung über den emotionalen Kontext einer sozialen Interaktion.

Ekman und sein Forschungsteam entwickelten außerdem eine Systematik für Gesichtsausdrücke, das Facial Action Coding System (FACS). Dieses beinhaltet alle zu den Basisemotionen gehörenden Muskelbewegungen und macht es dementsprechend möglich, Mimik nach einer festen Logik zu decodieren. Das FACS bildet die Grundlage für alle derzeit bestehenden Mimik-Interpretations-Systeme. Diese werten die Bewegungen im Gesicht aus und vergleichen die Abweichungen mimischer Punkte (Mundwinkel, Lippenposition, Augenbrauen, etc.) mit ihrer neutralen Position. Es ist insofern technisch möglich, anhand von Bilddaten eine Aussage zu der emotionalen Grundverfassung einer Person zu treffen.

Allerdings ist Mimik nicht nur universell, sondern zu Teilen auch kulturell ausgeprägt. Zahlreiche Ausdrucksnuancen haben eine kulturelle Konnotation, deren Bedeutung wir nur verstehen können, wenn uns die Kultur bekannt ist. Dazu gehören etwa die Ausdrücke, die du bereits beschrieben hast: Was wird als Flirt wahrgenommen, was als Autorität? Wie zeigen wir Fürsorge oder drücken Ironie aus?
Kulturell geprägte Ausdrücke sind keine festen Einheiten wie die Basisemotionen, sondern entwickeln sich ständig weiter. Sie teilen sich diese Eigenschaft mit der gesprochenen Sprache, die sich ebenfalls ständig verändert und das Zeitgeschehen widerspiegelt.
Diese kulturell geprägten Ausdrücke werden in den derzeitigen Mimik-Interpretationstechnologien nicht berücksichtigt.

Der Umstand, dass unsere Mimik auf ihre universelle Ausprägung reduziert wird, ist problematisch. Werden kulturelle Ausdrücke von technischer Seite nicht anerkannt, kann das dazu führen, dass wir sie langfristig in unserer Ausdrucksweise auslassen werden, da sie keine (technologische) Resonanz erfährt.  


Barbara, was verrät unser Ausdruck über uns, wozu ist er wichtig?


Das Gesicht in digitalen Zeiten – ein Blick in die Zukunft

Wenn wir über die Zukunft reden, denken wir meist an Technologien. Es werden Roboter sein, die uns in der Zukunft begleiten, Maschinen, die uns Aufgaben abnehmen und neue Medien, die unsere Wahrnehmung auf die Welt verändern. Nur selten kommt uns in den Sinn, welche Konstanz wir als Menschen selbst in der Zeit bilden.

Das Gesicht als Projektionsfläche für Zeitgeist und Visionen ist immer auch ein Zeugnis seiner Zeit.

Wagen wir einen Blick in unsere Zukunft, dann lohnt es sich deshalb, die gegenwärtige Wahrnehmung des Gesichts zu untersuchen. Und diese erlebt derzeit einen entscheidenden Umbruch. Erstmals in der Geschichte wird das Gesicht für Maschinen lesbar. Im Zusammenspiel von Kameratechnologien und neuronaler Netze können Informationen zu Gesichtern nicht nur aufgenommen, sondern auch auf verschiedenste Weise technologisch interpretiert werden.

Diese Entwicklung birgt großes Veränderungspotenzial für unser gesellschaftliches Zusammenleben und auch die Art, wie wir miteinander kommunizieren.

Unser künstlerischer Dialog widmet sich den Veränderungen, die uns mit dieser Entwicklung bevorstehen. Dabei stehen wir sowohl fachlich in einem Spannungsfeld als auch bezüglich unserer Lebenserfahrungen. Wir entstammen zwei unterschiedlichen Generationen, die eine Jugend hat vor der Digitalisierung stattgefunden, die andere wurde hauptsächlich davon geprägt. Die eine hat die Anfänge der Digitalisierung durch die Einführung von PCs aktiv mitgeprägt. Die andere findet die Digitalisierung als gegeben vor, sucht Wege der Opposition, stellt in Frage.

Jede hat ihr eigenes Arbeitsmaterial, mit Neugier schauen wir auf den Arbeitsprozess der anderen, manches scheint uns fremd, aus der Zeit gefallen oder zeitgemäß?

So ist Barbaras Material ein Relikt einer vordigitalen Zeit und gleichzeitig wichtiger Zeitzeuge vieler Jahre des öffentlichen Lebens, denn Litfaßsäulen sind seit Jahren nicht mehr im Stadtbild prägend. Judiths Entwurfsarbeit am Computer hingegen hat nur wenig mit der haptischen Auseinandersetzung mit Materialien zu tun. Die Entwürfe werden am Bildschirm erstellt und finden erst nach Fertigstellung ins Material.

Unser künstlerischer Dialog speist sich aus diesen Unterschieden, sucht in unseren unterschiedlichen Weltzugängen nach Widersprüchen und Ungereimtheiten.


Judith, Du bringst den Aspekt der Designforschung ins Gespräch. Kann man sagen, dass der Künstlerische Dialog von uns eine Form von Designforschung ist?