Körper Archive - Dr. Jana Bressem

Wie analysiert man Gesten in einer fremden Sprache?

Jana Bressem — Fri, 09 Aug 2024 06:44:56 +0000

🌍 Gemeinsam mit meiner Kollegin Claudia Wegener von der Universität zu Köln habe ich Gesten im Savosavo untersucht, einer Papua-Sprache, die auf den Salomonischen Inseln gesprochen wird.

🗣️ Claudia spricht Savosavo, ich jedoch nicht. Die Gesten habe ich trotzdem analysiert – aber meist nur in Zusammenarbeit mit Claudia und einem Muttersprachler. Warum?

🌐 Sprachliche Barrieren: Da ich Savosavo nicht spreche, muss ich auf Übersetzungen zurückgreifen. Trotz vollständiger Satzinformationen bleibt bei dieser Art der Übersetzung oft vieles unklar.

📜 Kulturelles Verständnis: Ich kenne die Kultur der Sprachgemeinschaft nicht, die rituellen Geschichten und die Gemeinschaftsstruktur sind mir fremd. Ohne diesen Kontext ist das Verständnis der Äußerungen stark eingeschränkt.

➡️ Unterschiedliche Gestenverwendungen: Manche Gesten, die ich aus anderen Sprachgemeinschaften kenne, werden hier anders verwendet. Zum Beispiel wird eine Geste, die wie das Wegfegen aussieht, in vielen Sprachen zur Verneinung genutzt. Im Savosavo hingegen dient sie zur Richtungsangabe.

🔍 Was habe ich also gemacht? Ich habe die Gesten zunächst ohne Sprache analysiert und mich auf die Beschreibung ihrer Form konzentriert. Und ich habe erste Überlegungen zu ihren Funktionen angestellt, alles weitere haben wir dann gemeinsam gemacht.

🌟 Und das hat unwahrscheinlich Spaß gemacht. Denn sprachvergleichende Studien zu Gesten sind unglaublich spannend und bereichernd, weil sie Einblicke in andere Sprachen und Kulturen ermöglichen, auch wenn sie besondere Herausforderungen darstellen.

😁 Manchmal war es auch komisch. Immer dann, wenn ich Ideen hatte, die am Ende überhaupt keinen Sinn gemacht haben.

–

Mehr zu unserer Forschung gibt es hier: https://dobes.mpi.nl/projects/savosavo/

Der Beitrag Wie analysiert man Gesten in einer fremden Sprache? erschien zuerst auf Dr. Jana Bressem.

Andere Länder, andere Mimik?

Jana Bressem — Sat, 08 Jun 2024 07:34:04 +0000

😃 In der klassischen Emotionspsychologie gelten Gesichtsausdrücke als universell: Wut oder Freude sollen sich weltweit auf dieselbe Weise im Gesicht zeigen. Doch so einfach ist es nicht.

🔎Bereits im 19. Jahrhundert wiesen Anthropologen darauf hin, dass es kulturelle Unterschiede im mimischen Ausdruck gibt. Gesichtsausdrücke sind genauso sozial erlernt wie andere Verhaltensweisen und nicht nur instinktiv.

👩‍💻 In den letzten Jahren bestätigen immer mehr empirische Studien diese These. Lisa Barrett und ihre Kolleg*innen zeigen, dass kulturelle Einflüsse erheblich darauf wirken, wie Gefühle hervorgerufen, kontrolliert, ausgedrückt und interpretiert werden. So fixieren westliche Betrachter bei erschrockenen und spöttischen Gesichtern auf Augen, Nase und Mund, während ostasiatische Betrachter hauptsächlich die Augen fokussieren. Diese Fixierung führt dazu, dass Ostasiaten erschrockene Gesichter oft als Überraschung (statt Angst) und spöttische Gesichter als Wut (statt Ekel) wahrnehmen.

👀Auch der Kontext spielt eine entscheidende Rolle in unserer Wahrnehmung. Im echten Leben sehen wir Gesichter nicht isoliert, sondern eingebettet in soziale Situationen, Körperhaltungen, Gesten und Worte. Ein finsteres Gesicht wird als bedrohlich empfunden, wenn es mit einer Gefahrensituation kombiniert wird, in anderen Kontexten aber als angeekelt oder bestimmt.

😄Gesichtsausdrücke sind zudem soziale Werkzeuge in der Interaktion. So lachen Menschen besonders dann, wenn ihr Lachen von anderen bemerkt wird, und nicht nur, weil sie erfreut sind. Holländische Sprecher*innen ziehen z.B. die Augenbrauen zusammen, um mangelndes Verständnis anzuzeigen – ein kooperatives Signal, kein Ausdruck von Verärgerung. Deutsche Sprecher*innen heben oft die Augenbrauen und weiten die Augen, um Überraschung auszudrücken und Informationen als besonders bemerkenswert zu markieren.

‼️Es ist also offensichtlich, dass Gesichtsausdrücke nicht nur Emotionen, sondern auch soziale Funktionen vermitteln und dass es signifikante Unterschiede im Ausdruck und in der Wahrnehmung gibt.

⚠️Wenn große Tech-Unternehmen und Softwareentwickler behaupten, es gebe verlässliche Beweise dafür, dass Gesichtsausdrücke direkt Emotionen offenbaren, dann ist das problematisch.

Welche Gefahren und Risiken ich damit verbunden sehe, teile ich in Teil 4 der Serie zu Emotion AI.

——————
Referenzen:
Barrett, L. F., Mesquita, B., & Gendron, M. (2011). Context in emotion perception. Current Directions in Psychological Science, 20(5), 286-290.

Der Beitrag Andere Länder, andere Mimik? erschien zuerst auf Dr. Jana Bressem.

Mit Emotion AI Kunden und Kollegen besser verstehen?

Jana Bressem — Fri, 31 May 2024 07:26:55 +0000

👀 Erkennen ob der Kunde sauer wird oder die Kollegen noch zuhören? Kein Problem mit Emotion AI. So zumindest das Versprechen zahlreicher Softwareanwendungen.

🥴 Xpai – The Experience AI analysiert die Mimik der Zuhörenden, um die User Experience zu verbessern. Schauen Zuhörende nach vorne in Richtung Vortragende oder schweift der Blick nach links und rechts ab oder gar zum Handy?Wann schauen die Personen wieder hin? Die Software gibt Hinweise, dies zu verbessern.

👩‍💼 Q for Sales soll helfen, besser zu verkaufen. Die Emotionen des Kunden werden erkannt und die Software gibt dem Vertrieb Hinweise, um ihre Interaktionen zu verbessern.

🎙️ audEERING® konzentriert sich auf die Stimme und erkennt Wut, Freude oder Trauer im stimmlichen Ausdruck. Eine Software, die in Callcentern zum Einsatz kommt und über ein Feedback-System auf dem Bildschirm in Form von fröhlichen oder traurigen Smileys den Mitarbeitenden Feedback gibt.

❗️So schön es alles klingt, bisherige Anwendungen haben noch ein großes Problem: Sie können nicht immer zweifelsfrei zuordnen. So kann die KI zwar einen finsteren Blick und das Zusammenziehen der Augenbrauen erkennen, aber ob es Wut oder ein anderes ähnliches Gefühl ist, klappt nicht.

Warum das so ist, erfahrt ihr in Teil 4 der Reihe zu Emotion AI.

🎧 Und für diejenigen, die nicht mehr so lange warten wollen und wissen wollen, wo die Probleme liegen, denen sei jetzt schon der Tagesschau Podcast 11km „Belauscht. Was KI aus unseren Stimmen liest” empfohlen.

Der Beitrag Mit Emotion AI Kunden und Kollegen besser verstehen? erschien zuerst auf Dr. Jana Bressem.

Ist das Gesicht ist der Spiegel unserer Seele?

Jana Bressem — Sun, 12 May 2024 07:18:12 +0000

😁 So zumindest die Annahme der klassischen Emotionspsychologie:
Emotionen werden im Gesicht durch eine bestimmte Anordnung der Gesichtsmuskeln sichtbar. Von den Wahrnehmenden werden sie wie „Wörter auf einer Seite gelesen“. Gesichtsausdrücke sind angeboren und universell. Sie umfassen sechs Grundtypen und zeigen weltweit die gleichen Merkmale, unabhängig von sozialen oder geografischen Kontexten.

😡 Beispielsweise deutet ein heruntergezogenes Augenbrauenpaar, ein starrer Blick, gespannte Lippen, eine Zornesfalte zwischen den Augenbrauen und eventuell geweitete Nasenflügel auf Wut hin. Angst hingegen äußert sich durch hochgezogene Augenbrauen, geweitete Augenlider, einen leicht geöffneten Mund und einen starren Blick.

📍 Aus den Gesichtsausdrücken lässt sich also, so die Annahme, direkt auf die Emotionen einer Person schließen. Unverschlüsselt und direkt. Denn unsere Gesichtsausdrücke sind schneller als der Verstand und werden von uns nicht gesteuert.

🔈 Ähnliche Vorstellungen gibt es auch für den emotionalen Ausdruck in der Stimme. Merkmale wie Tonhöhe, Lautstärke und die Dehnung des Sprachsignals können ebenfalls Aufschluss über unsere Gefühlslage geben – Wut und Angst werden somit auch stimmlich wahrnehmbar.

🤖 Emotion Ai, so die Schlussfolgerung, muss also die Gesichter oder die Sprachsignale nur erkennen und analysieren. Und das tut sie auch schon.

Wo und wie sie jetzt schon eingesetzt wird, in Teil 3 der Reihe zu Emotion AI.

Habt ihr schon Erfahrungen mit Technologien gemacht, die diese Art der Analyse verwenden?

–––-
Quellen:
Ekman, Paul, Sorenson, E. Richard /Friesen, Wallace V. (1969), „Pan-Cultural Elements in Facial Displays of Emotion“, Science 164, (3875), 86–88.

Der Beitrag Ist das Gesicht ist der Spiegel unserer Seele? erschien zuerst auf Dr. Jana Bressem.

Können Maschinen Emotionen verstehen?

Jana Bressem — Mon, 08 Apr 2024 12:00:30 +0000

Teil 1 der Serie zu Emotional AI

Emotional AI, auch bekannt als affektives Computing, ist in aller Munde. Immer mehr Softwareanwendungen kommen auf den Markt, die mit Hilfe von Bild- und Audiodaten, Emotionen durch Mimik, Sprache und Gestik zu erkennen und zu interpretieren.

✍ Die Wurzeln der Emotion AI
Bereits in den 1990er Jahren begannen Wissenschaftler*innen damit, die Möglichkeiten der Integration von emotionaler Intelligenz in Computertechnologien zu erkunden. Diese Bemühungen waren von der Überzeugung getrieben, dass für eine wirklich natürliche Interaktion zwischen Mensch und Maschine ein Verständnis für emotionale Zustände unerlässlich ist.

⚙️ Wie funktioniert Emotion AI?
Emotion AI kombiniert verschiedene Technologien und Methoden, um ein umfassendes Bild menschlicher Emotionen zu erfassen. Dazu gehören Gesichtserkennungstechnologien, die in der Lage sind, Mimik zu erfassen und Emotionen zuzuordnen. Stimmerkennungssoftware analysiert die Tonhöhe, Geschwindigkeit und den Klang der Stimme, um bspw. Wut zu identifizieren. Textanalyse durch Natural Language Processing (NLP) ermöglicht es , auch aus geschriebenem Text emotionale Untertöne herauszulesen.

👥 Anwendungsbereiche von Emotion AI?
Die Einsatzmöglichkeiten von Emotion AI sind breit gefächert und reichen vom Sicherheitsbereich über die Fahrzeugtechnik bis hin zum Marketing, der Bildung und der Pflege. In Deutschland findet es insbesondere in der Personalauswahl Beachtung, wo Unternehmen wie Retorio die Persönlichkeit von Bewerber*innen durch Analyse von Mimik und Sprechverhalten bewerten.

📍 Bedeutung von Emotion AI?
Ganz optimistisch gesprochen, sollen sie Verbesserungen für die Menschen bringen. Sei es eine optimierte User-Experience, bessere Kommunikation mit Pflegerobotern oder individualisierte Lernumgebungen. Im Gesundheitswesen soll sie bspw. eingesetzt werden, um Anzeichen von Depression oder Angstzuständen frühzeitig zu erkennen. Und Maschinen sollen menschlicher werden.

❓ Doch wie gut klappt das wirklich?
Darum geht es dann in Teil 2 der Serie zu Emotion AI, wenn um die theoretischen Grundlagen von Emotionserkennung und deren Fallstricke geht.

Der Beitrag Können Maschinen Emotionen verstehen? erschien zuerst auf Dr. Jana Bressem.