Mimik decodieren

Judith, wie können Maschinen denn Mimik erkennen und verstehen?

Einige unserer mimischen Ausdrücke zeigen sich universell auf die gleiche Weise und sind wahrscheinlich in unserer DNA eingeschrieben. Diese Ausdrücke wurden erstmals von Paul Ekman und Wallace Friesen erforscht und unter dem Begriff „Basisemotionen zusammengefasst“. Dazu gehören Freude, Wut, Trauer, Angst, Ekel, Überraschung und Verachtung. Die Universalität dieser Basisemotionen ist für uns von herausragender Bedeutung, weil es bedeutet, dass wir unabhängig von Kultur, Sprache oder Fremdheit die Gefühle eines Gegenübers erkennen können. Die Basisemotionen geben uns eine grundlegende Orientierung über den emotionalen Kontext einer sozialen Interaktion.

Ekman und sein Forschungsteam entwickelten außerdem eine Systematik für Gesichtsausdrücke, das Facial Action Coding System (FACS). Dieses beinhaltet alle zu den Basisemotionen gehörenden Muskelbewegungen und macht es dementsprechend möglich, Mimik nach einer festen Logik zu decodieren. Das FACS bildet die Grundlage für alle derzeit bestehenden Mimik-Interpretations-Systeme. Diese werten die Bewegungen im Gesicht aus und vergleichen die Abweichungen mimischer Punkte (Mundwinkel, Lippenposition, Augenbrauen, etc.) mit ihrer neutralen Position. Es ist insofern technisch möglich, anhand von Bilddaten eine Aussage zu der emotionalen Grundverfassung einer Person zu treffen.

Allerdings ist Mimik nicht nur universell, sondern zu Teilen auch kulturell ausgeprägt. Zahlreiche Ausdrucksnuancen haben eine kulturelle Konnotation, deren Bedeutung wir nur verstehen können, wenn uns die Kultur bekannt ist. Dazu gehören etwa die Ausdrücke, die du bereits beschrieben hast: Was wird als Flirt wahrgenommen, was als Autorität? Wie zeigen wir Fürsorge oder drücken Ironie aus?
Kulturell geprägte Ausdrücke sind keine festen Einheiten wie die Basisemotionen, sondern entwickeln sich ständig weiter. Sie teilen sich diese Eigenschaft mit der gesprochenen Sprache, die sich ebenfalls ständig verändert und das Zeitgeschehen widerspiegelt.
Diese kulturell geprägten Ausdrücke werden in den derzeitigen Mimik-Interpretationstechnologien nicht berücksichtigt.

Der Umstand, dass unsere Mimik auf ihre universelle Ausprägung reduziert wird, ist problematisch. Werden kulturelle Ausdrücke von technischer Seite nicht anerkannt, kann das dazu führen, dass wir sie langfristig in unserer Ausdrucksweise auslassen werden, da sie keine (technologische) Resonanz erfährt.  


Barbara, was verrät unser Ausdruck über uns, wozu ist er wichtig?


Maskierung in der Öffentlichkeit

Barbara, wie ist Dein Blick auf solch eine Systematik?

Sehr wichtig erscheint mir die Unterscheidung, die Du im vorhergehenden Beitrag gemacht hat. Du schreibst: „Eine Technologie, die Emotionen auf dem Gesicht ablesen kann, hat nicht zwangsläufig auch die Eigenschaft, die Personen vor der Kamera zu identifizieren.“

Es geht also nicht nur um biometrische Daten, sondern um die Abbildung des emotionalen Prozesses im Gesicht. Die Einordnung eines Menschen in die Zughörigkeit, Schicht und Ethnie lassen sich vermeintlich an Äußerlichkeiten identifizieren: Kleidung, Haare, Hautfarbe, Körperumfang, Statussymbole.

Gleichzeitig sind wir als Menschen damit beschäftigt, eine Rolle auszufüllen und fragen uns, was wollen wir über unser Gesicht zeigen, was verbergen wir? Was geben wir von uns preis, was ist schützenswert?

Etwas verbindet viele Kulturkreise und Gesellschaften: Mächtige wollen ihre Untergebenen, ihre Bürger, ihre Kunden kontrollieren und steuern. Das führt zu Vermummungsverboten des Gesichtes im öffentlichen Raum und wird sanktioniert. Laut § 27 Versammlungsgesetz NRW darf man in Deutschland im öffentlichen Raum beispielsweise bei Demonstrationen oder im Auto keine Maske tragen.

Ein anderer Aspekt ist die Prägung in und aus den jeweiligen Kulturkreisen, aus denen wir kommen und in denen wir leben. Das Gesicht wahren, ein steinernes Gesicht, ein offenes Gesicht, sind bekannte Metaphern. In manchen Kulturen ist es ein Affront, dem anderen direkt in die Augen zu schauen. Woanders gilt der gesenkte Blick als ein Zeichen der Unterwerfung.

Sein Gesicht zu verdecken, kann entweder dem Schutz der eigenen Person dienen oder eine Verweigerung der Identifizierbarkeit bedeuten.

Eine Gesichtsbedeckung wird auch zum Schutz des Gesichtes bei der Arbeit mit gefährlichen Substanzen oder aus religiösen Gründen genutzt. Vermummung nennt man es bei Demonstrationen oder Straftaten, daher bestehen Vermummungsverbote.

Nun herrscht in Corona-Zeiten plötzlich eine Maskenpflicht.
Wie erkenne ich mein Gegenüber? Wie gehe ich auf ihn oder sie zu?

Das Virus verurteilt uns auf jeden Fall, Abstand zueinander zu halten. Das ist für uns als soziale Wesen schwierig. Ein Händedruck, eine Umarmung, ein Näherkommen sind uns wichtig.


Judith, was bedeuten nun die Gesichtserkennungstechnologien?


Vielschichtigkeit als Arbeitsmaterial

Barbara, wie siehst Du Deinen Ansatz, wieviel steckt von Dir und Deine Sicht auf die Dinge in deinem Werk, in Deinem Arbeitsmaterial? 

Ich nutze verschiedenes Material, in dem Geschichte steckt: Altglas, Altkleider oder eben die „Schwarten“ von Litfaßsäulen. Es passt zu „meiner Sicht auf die Dinge“.

Als Künstlerin bin ich forschend und gestaltend unterwegs. Im Grunde bin ich immer auf Entdeckungsreise. Meine künstlerischen Werkreihen reflektieren den jeweiligen Zeitgeist, die Objekte entstehen aus dem Material vergangener Zeitdokumente (den Plakaten) und halten einen Abschnitt, eine Abbildung der Geschichte fest.

Das Material der Litfaßsäule, die über Jahrzehnte übereinander geklebte Schichten von Werbe-Plakaten, faszinierten mich schon lange, spiegeln sie doch sowohl die Vielschichtigkeit des Lebens als auch die Wahrnehmungsebenen der Menschen wider. Oberflächlich wird eine Botschaft transportiert, doch was liegt darunter?

Den künstlerischen Prozess kann man über die verschiedenen Werkreihen verfolgen. Im jetzigen Werk zu unseren Gesichtern in digitalen Zeiten nehme ich die Schichten auseinander, nutze die Plakate als Material für die Gesichts-Kollagen. Die Schwarte bleibt als Träger darunter, aber ich gebe ganz bewusst eine neue Gestalt hinzu.

Gerade jetzt, wo eine fühlbare und erlebbare Bedrohung durch eine lebensfeindliche Epidemie rund um die Welt läuft und keinen auslässt, wird die Vielschichtigkeit des Lebens, die Zufälligkeit der Lebensorte, die unterschiedlichen Wahrnehmungen, Deutungen und Handlungsmuster auffällig.

Die Inspiration kommt demnach durch Themen, die mir durch Gesellschaftspolitik entgegenspringen, die ich auch gedanklich auslote, ich recherchiere und lese viel zu den verschiedenen Aspekten. Das Material bringt noch eine zusätzliche Ebene herein und schafft somit die künstlerische Transformation.


Judith, wie verstehst Du Deinen Forschungsansatz und was hat das mit  Gesichtserkennungstechnologien zu?


Neugierig geworden, wie man so Skulpturen erstellt?

11.5.2020, 19:00 Uhr:

„Sculpture in Progress“ – Mit Kettensäge und Teppichleim

Die Künstlerin Barbara Otto benutzt die über Jahre auf Litfaßsäulen übereinander geklebten Schichten von Werbeplakaten. In einer Art Zeitdokumentation fertigt sie daraus Skulpturen von Gesichtern. Per Video schalten wir live in ihr Atelier und bekommen Einblick in einen kreativen Findungsprozess.

Den Link zu der Veranstaltung findet ihr hier.

Ein Künstlerischer Dialog

Ankündigung Blog Ein Künstlerischer Dialog von Judith Block und Barbara Otto

Auf Distanz unterhalten….

Mit unserem Blog laden wir euch ein zu einem Einblick in unseren künstlerischen Dialog.

Wir, das sind die Designerin und Designwissenschaftlerin Judith Block und die Künstlerin Barbara Otto. Judith schafft es, die Dimension der Gesichtserkennungstechnologien über Digitale Masken erfahrbar zu machen. Barbara nutzt die über Jahre übereinander geklebten Plakatschichten von Litfaßsäulen, um den verschiedenen digitalen Bildsprachen in einer Art Zeitdokument ein Gesicht zu geben.

Da wir unser künstlerisches Dialogforum „FACE_Off! Das Gesicht in digitalen Zeiten“ im Rahmen des Kulturfestivals Sommerblut nun nicht real im Mai durchführen können, sondern erst im August, laden wir Euch vom 8.Mai und bis zum 24. Mai zu einem täglichen Blog ein.