Kultur Archive - Dr. Jana Bressem

Wie analysiert man Gesten in einer fremden Sprache?

Jana Bressem — Fri, 09 Aug 2024 06:44:56 +0000

🌍 Gemeinsam mit meiner Kollegin Claudia Wegener von der Universität zu Köln habe ich Gesten im Savosavo untersucht, einer Papua-Sprache, die auf den Salomonischen Inseln gesprochen wird.

🗣️ Claudia spricht Savosavo, ich jedoch nicht. Die Gesten habe ich trotzdem analysiert – aber meist nur in Zusammenarbeit mit Claudia und einem Muttersprachler. Warum?

🌐 Sprachliche Barrieren: Da ich Savosavo nicht spreche, muss ich auf Übersetzungen zurückgreifen. Trotz vollständiger Satzinformationen bleibt bei dieser Art der Übersetzung oft vieles unklar.

📜 Kulturelles Verständnis: Ich kenne die Kultur der Sprachgemeinschaft nicht, die rituellen Geschichten und die Gemeinschaftsstruktur sind mir fremd. Ohne diesen Kontext ist das Verständnis der Äußerungen stark eingeschränkt.

➡️ Unterschiedliche Gestenverwendungen: Manche Gesten, die ich aus anderen Sprachgemeinschaften kenne, werden hier anders verwendet. Zum Beispiel wird eine Geste, die wie das Wegfegen aussieht, in vielen Sprachen zur Verneinung genutzt. Im Savosavo hingegen dient sie zur Richtungsangabe.

🔍 Was habe ich also gemacht? Ich habe die Gesten zunächst ohne Sprache analysiert und mich auf die Beschreibung ihrer Form konzentriert. Und ich habe erste Überlegungen zu ihren Funktionen angestellt, alles weitere haben wir dann gemeinsam gemacht.

🌟 Und das hat unwahrscheinlich Spaß gemacht. Denn sprachvergleichende Studien zu Gesten sind unglaublich spannend und bereichernd, weil sie Einblicke in andere Sprachen und Kulturen ermöglichen, auch wenn sie besondere Herausforderungen darstellen.

😁 Manchmal war es auch komisch. Immer dann, wenn ich Ideen hatte, die am Ende überhaupt keinen Sinn gemacht haben.

—

Mehr zu unserer Forschung gibt es hier: https://dobes.mpi.nl/projects/savosavo/

Der Beitrag Wie analysiert man Gesten in einer fremden Sprache? erschien zuerst auf Dr. Jana Bressem.

Stereotyp bestätigt? Gestikulieren Italienerinnen wirklich mehr?

Jana Bressem — Fri, 02 Aug 2024 06:37:25 +0000

🗣️ Zwei Kolleginnen von der Universität Lund, Marianne Gullberg und Maria Graziano haben diese Frage kürzlich untersucht. Sie verglichen, ob Italienerinnen mehr gestikulieren als Schwedinnen, wenn sie einen Zeichentrickfilm nacherzählen.

Und ja, es gibt tatsächlich Unterschiede im Gebrauch von Gesten:

🔹 Häufigkeit der Gesten: Italienerinnen produzieren insgesamt mehr Gesten als Schwedinnen.
🔹 Art der Gesten: Italienische Sprecherinnen verwenden mehr pragmatische Gesten, um z.B. etwas als offensichtlich zu kennzeichnen und die Nacherzählung zu strukturieren. Schwedinnen nutzen hingegen mehr referentielle Gesten, die konkrete Objekte oder Handlungen darstellen.
🔹 Narrative Ebenen: Während Schwedinnen beim Gestikulieren eher konkrete Ereignisse und Handlungen darstellen, wechseln italienische Sprecherinnen zwischen der Darstellung von Ereignissen und der Hervorhebung neuer Informationen. Beide Gruppen zeigen also unterschiedliche rhetorische Stile beim Nacherzählen.

🤯 Die Ergebnisse überraschten die Autorinnen selbst ein wenig, da sie im Widerspruch zu bisherigen Erkenntnissen stehen. Man hätte nämlich eher das Gegenteil erwartet: Mehr darstellende Gesten bei den Italienerinnen und mehr pragmatische Gesten bei den Schwedinnen.

🌍 Welche Schlüsse ziehen wir daraus? Ja, es gibt kulturelle Unterschiede im Gestengebrauch. Aber wir brauchen mehr vergleichende Studien, um diese besser einschätzen zu können und zu verstehen, wie Sprache und Gestik zusammenwirken, um unterschiedliche kommunikative Stile zu formen.

—
Referenz:

Graziano, M. & Gullberg, M. (2024). Providing evidence for a well-worn stereotype: Italians and Swedes do gesture differently. *Frontiers in Communication*, *9*, 1314120.

Der Beitrag Stereotyp bestätigt? Gestikulieren Italienerinnen wirklich mehr? erschien zuerst auf Dr. Jana Bressem.

Emotion AI: Eine Revolution oder ein ethisches Dilemma?

Jana Bressem — Fri, 12 Jul 2024 12:33:28 +0000

Meine Reihe zu Emotion AI endet heute. In den letzten Wochen habe ich die Möglichkeiten und Gefahren dieser Technologie beleuchtet – oft kritisch. Warum?

❗️Weil sie die Vorstellung fördert, dass der wahre Ausdruck einer Person im Körperlichen zu finden sei, was theoretisch und ethisch fragwürdig ist. Eine Studie von Rhue (2018) zeigt z.B., dass Emotion AI dunkelhäutigen Menschen häufiger negative Emotionen zuschreibt als hellhäutigen.

⚖️ Der European Union AI Act erlaubt die Erkennung von Emotionen, verbietet aber die Zuschreibung emotionaler Zustände. Das bedeutet, Call Center Manager können sagen, dass Mitarbeitende verärgert klingen, aber nicht, dass sie es tatsächlich sind. Doch reale Konsequenzen bleiben: Was passiert in Bewerbungsgesprächen, wenn Personen vermehrt Wut zugeschrieben wird? Oder wenn Kindern in der Schule zugeschrieben wird, dass sie unkonzentriert sind.

❔ Möchten wir wirklich, dass Maschinen uns in dieser Art vermessen und einordnen? Gerade weil die Technik so problematisch und fehleranfällig ist. Und wie sinnvoll ist es überhaupt, dass Maschinen unsere Emotionen lesen?

🤔 Auch nach Abschluss dieser Blogserie wird mich das Thema weiter beschäftigen. Seit fast 20 Jahren forsche ich zu Gesten und ärgere mich immer wieder über den Mythos „Der Körper lügt nicht“, weil Gesten dadurch so missverstanden und fälschlich darauf reduziert werden. Emotion AI befeuert diese Fehlvorstellung erneut mit ganz realen Konsequenzen für uns alle.

💭 Und ich frage mich, was ich als Wissenschaftlerin tun kann? Ein Versuch, diese kleine Blog-Reihe, mit der Hoffnung, die Fallstricke dieser Technologie verstehbar zu machen und zum differenzierten Nachdenken anzuregen.

Daher vielen Dank an Euch fürs Lesen! Wie schätzt Ihr diese Technologie ein? Welche Gedanken schwirren Euch im Kopf herum?

📚 P.S. Wer für sich das Thema der emotionalen KI noch etwas umfassender interessiert, dem kann ich nur wärmstens das Buch „Menschen Versteher: Wie Emotionale Künstliche Intelligenz unseren Alltag erobert “ von Kenza Ait Si Abbou empfehlen.

—-
Referenzen: Rhue, Lauren, Racial Influence on Automated Perceptions of Emotions (November 9, 2018). Doi:10.2139/ssrn.3281765

Der Beitrag Emotion AI: Eine Revolution oder ein ethisches Dilemma? erschien zuerst auf Dr. Jana Bressem.

Andere Länder, andere Mimik?

Jana Bressem — Sat, 08 Jun 2024 07:34:04 +0000

😃 In der klassischen Emotionspsychologie gelten Gesichtsausdrücke als universell: Wut oder Freude sollen sich weltweit auf dieselbe Weise im Gesicht zeigen. Doch so einfach ist es nicht.

🔎Bereits im 19. Jahrhundert wiesen Anthropologen darauf hin, dass es kulturelle Unterschiede im mimischen Ausdruck gibt. Gesichtsausdrücke sind genauso sozial erlernt wie andere Verhaltensweisen und nicht nur instinktiv.

👩‍💻 In den letzten Jahren bestätigen immer mehr empirische Studien diese These. Lisa Barrett und ihre Kolleg*innen zeigen, dass kulturelle Einflüsse erheblich darauf wirken, wie Gefühle hervorgerufen, kontrolliert, ausgedrückt und interpretiert werden. So fixieren westliche Betrachter bei erschrockenen und spöttischen Gesichtern auf Augen, Nase und Mund, während ostasiatische Betrachter hauptsächlich die Augen fokussieren. Diese Fixierung führt dazu, dass Ostasiaten erschrockene Gesichter oft als Überraschung (statt Angst) und spöttische Gesichter als Wut (statt Ekel) wahrnehmen.

👀Auch der Kontext spielt eine entscheidende Rolle in unserer Wahrnehmung. Im echten Leben sehen wir Gesichter nicht isoliert, sondern eingebettet in soziale Situationen, Körperhaltungen, Gesten und Worte. Ein finsteres Gesicht wird als bedrohlich empfunden, wenn es mit einer Gefahrensituation kombiniert wird, in anderen Kontexten aber als angeekelt oder bestimmt.

😄Gesichtsausdrücke sind zudem soziale Werkzeuge in der Interaktion. So lachen Menschen besonders dann, wenn ihr Lachen von anderen bemerkt wird, und nicht nur, weil sie erfreut sind. Holländische Sprecher*innen ziehen z.B. die Augenbrauen zusammen, um mangelndes Verständnis anzuzeigen – ein kooperatives Signal, kein Ausdruck von Verärgerung. Deutsche Sprecher*innen heben oft die Augenbrauen und weiten die Augen, um Überraschung auszudrücken und Informationen als besonders bemerkenswert zu markieren.

‼️Es ist also offensichtlich, dass Gesichtsausdrücke nicht nur Emotionen, sondern auch soziale Funktionen vermitteln und dass es signifikante Unterschiede im Ausdruck und in der Wahrnehmung gibt.

⚠️Wenn große Tech-Unternehmen und Softwareentwickler behaupten, es gebe verlässliche Beweise dafür, dass Gesichtsausdrücke direkt Emotionen offenbaren, dann ist das problematisch.

Welche Gefahren und Risiken ich damit verbunden sehe, teile ich in Teil 4 der Serie zu Emotion AI.

——————
Referenzen:
Barrett, L. F., Mesquita, B., & Gendron, M. (2011). Context in emotion perception. Current Directions in Psychological Science, 20(5), 286-290.

Der Beitrag Andere Länder, andere Mimik? erschien zuerst auf Dr. Jana Bressem.

Kann Sprache unser Denken ändern?

Jana Bressem — Tue, 01 Aug 2023 10:13:09 +0000

Eine spannende Frage, die mich seit Beginn meines Studiums und eines meines erster Seminare zu indigenen Sprachen Nordamerikas immer wieder neu zum Nachdenken anregt.

Daher habe ich umso begeisterter mit Dr. Daniel Angerhausen und Dr. Whatson unter anderem über dieses Thema diskutiert, basierend auf dem Film “Arrival” bei “Wissenschaftler reagieren” (arte).

Arrival oder die Geschichte, wie unbekannte Sprachen beschrieben werden

“Arrival” ist ein Science-Fiction-Film, in dem eine Linguistin versucht, die geheimnisvollen Absichten außerirdischer Besucher zu entschlüsseln, indem sie deren Sprache zu verstehen versucht.

Auf sehr spannende, wenn auch nicht immer ganz korrekte Weise, stellt der Film dar, was Sprachwissenschaftler*innen tun, um unbekannte Sprachen zu beschreiben. Sie identif

Bei der Beschreibung der Sprache der Aliens (Heptapod) lernt die Linguistin im Film aber nicht nur die Struktur der Sprache, bspw. wie Wörter, Phrasen oder Sätze gebildet werden, sondern erwirbt auch eine neue Welt des Denkens. Weil die Schriftzeichen der Aliens nicht linear, sondern kreisförmig sind, bilden sie auch deren Verständnis von Zeit ab: Vergangenheit, Gegenwart und Zukunft sind nicht getrennt voneinander. Die Linguistin kann dadurch auch in die Zukunft blicken.

Die Sapir-Whorf Hypothese oder wie Sprachen Einfluss auf unser Denken nehmen können

Damit greift der Film eine alte Frage der Sprachwissenschaft auf, die bis zu Wilhelm von Humboldt zurückreicht. Wie hängen Sprache und Denken zusammen? Im Film wird die Sapir-Whorf-Hypothese herangezogen: Die Sprache, die eine Person spricht, beeinflusst ihre Wahrnehmung und ihr Denken, indem sie bestimmte Konzepte und Gedanken fördert oder einschränkt.

In dieser starken Form, nämlich als sprachlicher Determinismus, dass Sprache die Art und Weise bestimmt, wie wir die Realität sehen und wahrnehmen, wird die These heute in der Wissenschaft nicht mehr unterstützt. Und auch die Idee, die im Film postuliert wird, dass “man sein Gehirn neu vernetzen kann, wenn man in eine andere Sprache eintaucht”, hat keine empirische Evidenz.

Für eine abgeschwächte Variante aber, die Hypothese der sprachlichen Relativät, gibt es durchaus wissenschaftliche Belege, die zeigen, dass es einen Zusammenhang zwischen Sprache und unserem Denken gibt.

Wie hängen Sprache, Denken und Wahrnehmung zusammen?

Studien zur Untersuchung von Raumreferenzen in verschiedenen Sprachen, haben gezeigt, dass kulturelle und sprachliche Unterschiede tatsächlich Einflüsse auf die Kategorisierung von Konzepten haben können. So sind Menschen, die Sprachen sprechen, die auf absoluten Richtungen basieren, sehr gut darin, den Überblick über ihre Position zu behalten, auch wenn sie sich in unbekannten Landschaften oder innerhalb fremder Gebäude aufhalten (Lucy, 1992; Levinson, 2003).

Ebenso belegen Studien, dass Sprecher*innen von Sprachen, in denen es notwendig ist, die Quelle der Information oder des Wissens sichtbar zu machen, auch dazu neigen, dies präziser und vielfältiger Weise zu tun. Die “Herkunft” von Wissen hat in manchen Sprachen eine größere Relevanz als für andere und führt damit zu einer gesteigerten Aufmerksamkeit, auf die Frage, woher jemand etwas weiß (Matsui, & Fitneva, 2009).

Und auch beim Sprechen über Bewegungsereignisse zeigen sich Einflüsse der sprachlichen Struktur. Und das interessanterweise nicht nur beim Sprechen, sondern auch beim Gestikulieren. Je nachdem Sprachen sprechen, die Art und Weise sowie den Weg einer Bewegung in einer oder zwei Phrasen kodieren, umso unterschiedlicher auch die dazugehörigen Gesten und die hervorgehobenen Aspekte des Ereignisses (Kita & Özyrek, 2003).

Ändert Sprache unser Denken?

Sprache kann unsere Konzeptualisierung beeinflussen und die Art und Weise wie wir Ereignisse oder Gegenstände in der Welt wahrnehmen formen. “Thinking for speaking”, Denken für das Sprechen wie Slobin es genannt hat, ist durchaus empirisch belegt. Neue neuronale Verbindungen, die uns völlig neue Erkenntnisse erlauben, bringt das Lernen neuer Sprachen aber nicht mit sich.

Wer noch mehr über dieses Thema erfahren möchte, dem sei einer meiner liebsten TED-Talks empfohlen:

Spannende Informationen zur Dokumentation bedrohter Sprachen findet man bei DOBES (https://dobes.mpi.nl/) oder beim ELDP (https://www.eldp.net/).

Referenzen:

Kita, S., & Özyürek, A. (2003). What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: Evidence for an interface representation of spatial thinking and speaking. Journal of Memory and language, 48(1), 16-32.

Levinson, S. C. (2003). Space in language and cognition: Explorations in cognitive diversity. Cambridge: Cambridge University Press.

Lucy, J. A. (1992). Grammatical categories and cognition. A case study of the linguistic relativity hypothesis. Cambridge: Cambridge Univ. Press.

Matsui, T., & Fitneva, S. A. (2009). Knowing how we know: Evidentiality and cognitive development. New directions for child and adolescent development, 2009(125), 1-11.

Der Beitrag Kann Sprache unser Denken ändern? erschien zuerst auf Dr. Jana Bressem.