Написано на губах: как жесты и мимика дополняют язык

Лингвист, профессор антропологии и психологии Университета Майами Калеб Эверетт в книге «Мириады языков» рассказывает о том, почему очное общение несет в себе больше информации.

Коммуникативную пользу информации, написанной на губах, вероятно, лучше всего иллюстрирует так называемый эффект Макгурка, впервые открытый учеными в 1970-х гг.

За последние несколько десятилетий его пронаблюдали в самых разнообразных экспериментальных условиях, и его легко воспроизвести даже в учебной аудитории. На своих лекциях я проигрываю аудиозапись, на которой человек произносит много раз подряд слог /ба/. Одновременно я показываю студентам видеозапись того же самого человека, повторяющего как будто бы слог /га/. Так как аудио и видеозапись идеально синхронизированы, студенты слышат /ба/ именно тогда, когда человек на экране произносит /га/. Пока студенты смотрят и слушают, я прошу их записать слог, который они слышат. Вы можете ожидать, что студенты запишут «ба» или пожалуются, что услышанное не совпадает с видео. Но происходит не это. Они записывают слоги не жалуясь, однако пишут не «ба». Чаще всего они пишут «да». Затем я прошу их закрыть глаза и прослушать тот же аудиофайл, повторяющийся вновь и вновь. Когда они прослушивают, по аудитории прокатывается волна улыбок или удивленных взглядов. Они тут же осознают, что все это время слышали /ба/, но зрение их обманывало.

Затем я прошу их открывать и закрывать глаза по мере повтора аудиозаписи. Они обнаруживают, что с закрытыми глазами слышат /ба/, а с открытыми /да/ (или что-то вроде того). Удивительно, но, даже если вы хорошо понимаете, что происходит, зрительные стимулы продолжают проделывать фокусы с тем, что, как вам кажется, вы слышите.

Об эффекте Макгурка я знаю уже много лет, но подвержен ему я не меньше. Когда я открываю и закрываю глаза во время этого упражнения, аудиофайл словно меняется с «да» на «ба» — вновь и вновь. Умом я понимаю, что проигрывается только «ба», но на мой слух это не влияет. Наше восприятие речи состоит не только из звуковых последовательностей, воздействующих на наши барабанные перепонки, а затем передающихся через улитку и цепочку нервов к мозгу. Восприятие речи — это целостный процесс, интегрирующий в коре мозга зрительную и слуховую информацию. Это верно для всех культур и явно было свойственно восприятию речи еще тогда, когда люди населяли только Африку. В конце концов, очное общение — это заданная по умолчанию форма бытования языка, поэтому есть своя логика в том, чтобы люди были визуально настроены на чужие лица. Однако, как мы убедились в предыдущей главе, языки различаются тем, насколько в них задействованы губные звуки, а значит, носителям некоторых языков, возможно, приходится уделять чуть больше внимания губам собеседника.

Мы также следим и за руками собеседника. Как уже говорилось, многие исследования показывают, что жестикуляция важнее для речи, чем некогда считалось. В крайних случаях, например, когда носитель неенгату жестом указывает на время, можно сказать, что знание определенных жестов требуется для того, чтобы «грамматически правильно» говорить на этом языке. В более широком плане жесты могут отражать глубинные когнитивные процессы, происходящие при речи, например, когда носитель английского языка указывает назад, говоря о прошлом.

Жесты используются также для того, чтобы подчеркнуть вербальные сигналы при речи. Мы часто применяем более размашистые жесты, когда громко говорим, а некоторые особенно утрированные жесты могут соответствовать точкам эмфазы в устных предложениях. Такая скоординированная жестикуляция вместе с голосовым акцентированием дает слушателям подсказку, привлекая их внимание к ключевым моментам в речевом потоке. В среде очного общения люди обучаются уделять внимание не только акустическому потоку, исходящему из уст собеседника, но также тесно связанному с ним потоку жестов, исходящему от его рук. Этот аспект коммуникации, внимание к жестам говорящего с одновременным считыванием по его лицу, порождает недавно открытый тип мануальной интерференции в восприятии речи. Это явление, получившее название «мануальный эффект Макгурка», было открыто в ходе ряда экспериментов, опубликованных в 2021 г. Далее я расскажу об одном из этих экспериментов, в котором проверялось, как восприятие жестов влияет на слуховое восприятие словесного ударения. Однако вначале нужно немного рассказать о словесном ударении. Хотя описываемый эксперимент проводился с носителями нидерландского, для иллюстрации этого явления я буду использовать английский, поскольку он обладает такими же характеристиками словесного ударения.

Один из ключевых компонентов ударного слога в английском слове — его более высокий тон. Под «тоном» подразумевается частота, на которой вибрируют голосовые связки при произнесении звука. (Технически «тон» относится к восприятию этой частоты, но в обиходе это слово применяется к самой частоте вибрации голосовых связок говорящего.) Многие языки используют точные последовательности тонов для различения значений слов. Хотя в английском и нидерландском этого нет, тон в них используется для множества других, пусть и менее сложных целей. В числе этих целей — словесное ударение: у ударных слогов тон обычно чуть выше. Кроме того, ударные слоги обычно громче. «Громкость» также технически относится к перцептивному свойству, определяемому в речи главным образом амплитудой чужого голоса.

Когда голосовые связки говорящего смыкаются более энергично, расходясь друг от друга дальше при каждом колебании, амплитуда голоса возрастает и он звучит громче. Эта повышенная громкость, среди прочего, служит тому, чтобы подчеркивать в речи определенные слоги. Вдобавок к усилению громкости и тона, ударный слог в слове обычно более долгий сравнительно с безударным. Хотя в английском есть и другие аспекты словесного ударения (например, безударные гласные часто редуцируются до гласного, звучащего как краткое [а]), эти три особенности — повышение тона, громкости и долготы — ключевые. Так происходит и во многих других языках, включая нидерландский.

Эти три особенности настолько важны для словесного ударения, что в некоторых случаях используются для различения слов. Более того, в английском эти акустические подсказки служат для корректного выявления во многих парах существительных и глаголов, которые пишутся одинаково. Например, если вы произносите CON-vert, вы используете существительное и подразумеваете человека, обращенного в какую-либо религию. Напротив, если вы произносите con-VERT, речь идет о действии по обращению кого-то в религию. PER-mit означает ‘разрешение’, а per-MIT — ‘разре-шить’. Если вы произнесете OB-ject, то это существительное ‘предмет’. Но если произнести ob-JECT, то это будет глагол со значением ‘возражать’. Не все смысловые ассоциации в парах «существительное — глагол» настолько прозрачны.

Тем не менее в английском имеются более сотни слов, значение которых меняется в зависимости от ударения.

Какое все это имеет отношение к мануальной интерференции при слуховом восприятии? Один из способов, которыми жесты интегрируются с фонетической артикуляцией речи, — координация с ударением. Если вы смотрите чью-нибудь публичную лекцию, вы можете заметить, что лектор заметнее жестикулирует, подчеркивая определенные пункты или слова. Более того, жестовые движения часто включают движения рук вниз, совпадающие с ударением на определенных словах и слогах. Одно экспериментальное
исследование, проведенное в 2007 г., показало, что люди делают «ритмические жесты», а также двигают бровями и кивают при словах, которые выделены на фоне других слов. Исследование даже продемонстрировало, что, когда слушатели слышали два слова и их просили оценить акустическую «выделенность» каждого, на их ответ влияла зрительная информация. Когда они наблюдали, как кто-либо делает жест руками или двигает бровями на одном из слов, им с большей вероятностью казалось, что это слово обладает большей акустической выделенностью. Наблюдаемые ими жесты влияли на то, как их мозг обрабатывал услышанные звуки.

Новейшие экспериментальные данные свидетельствуют о том, что восприятие жестов рук влияет на восприятие слуховых стимулов и более тонко. Двадцать шесть носителей нидерландского языка прослушали вымышленные слова, звучащие как бы по-нидерландски. В каждом слове было два слога, например bagpif. Первый гласный предъявлялся таким образом, что ударение было неясным, иногда он звучал скорее как типичный ударный «а» в нидерландском, а в других случаях — как безударный. Безударный вариант этого гласного в нидерландском слегка отличается по качеству от ударного и тоже более краткий, как и в английском.

Вымышленные слова варьировали по непрерывному спектру, так что некоторые из них были особенно двусмысленными — то есть неясно было, ударные они или безударные. Голландцы смотрели и слушали видеозапись человека, произносящего вымышленные слова. Что важно, говорящий также делал жесты, двигая правой рукой вверх и вниз. Хотя испытуемых не просили обращать внимание на жесты говорящего, эти жесты явно влияли на то, что они слышали. Как уже отмечалось, говорящие часто делают жесты вниз, когда что-то подчеркивают. Эта взаимосвязь между движением руки вниз и эмфазой, по-видимому, влияла на то, что действительно слышали голландцы. Когда жест вниз делался на первом слоге вымышленного слова типа bagpif, двусмысленный гласный в этом слоге реально воспринимался ближе к типичному ударному слогу. Когда носителей просили определить, слышали ли они bagpif или baagpif (второй вариант — с долгим гласным, как при типичном нидерландском ударении), они чаще сообщали, что слышат baagpif, если видели жест вниз на первом слоге. Иными словами, их зрительное восприятие влияло на их слуховое восприятие при интеграции мозгом двух потоков информации. Это явление близко к эффекту Макгурка, но в данном случае зрительные стимулы, влиявшие на слуховое восприятие, исходили не от губ говорящего, а от его рук. Поэтому авторы исследования придумали для этого явления название — «мануальный эффект Макгурка». Отметим, что не следует ожидать проявления такого когнитивного феномена у носителей всех языков в том же виде, в котором он проявляется у носителей нидерландского, поскольку во многих языках нет аналогичных типов словесного ударения.

Эффект Макгурка и недавно открытый мануальный эффект Макгурка демонстрируют, что на восприятие речи тонкими путями воздействует среда очного общения, которое было базовой формой человеческой коммуникации десятки тысяч лет и определяет то, как мы эту речь создаем. Оно влияет и на то, как мы слушаем. Мы активные слушатели, мы не только с помощью вокализации, но и жестами даем говорящему понять, что принимаем его во внимание и согласны или, может быть, не согласны с чувствами, которые он выражает. Это может быть и мимика, когда мы двигаем бровями соответственно тому, что слышим, или кивки головой при выражении согласия. Эти наблюдения могут показаться банальными, но, если вы решите воздержаться от подобных жестов или вокализаций при разговоре, вам немедленно напомнят, насколько они важны. Собеседник тут же будет обескуражен отсутствием у вас подобных реакций.

Давление очной среды формирует не только перцептивные и когнитивные факторы. Порождение речи тоже эволюционировало с учетом этого давления. Очный разговор — заданная по умолчанию форма коммуникации во всех культурах мира, но, как утверждают в последнее десятилетие языковеды, например Ник Энфилд, сами лингвисты часто упускают из вида тот факт, что язык формируется под давлением очного общения. Исследования Энфилда о ландшафтных терминах упоминались в главе. В других своих работах он подчеркивает, что планирование и артикуляция фраз происходят в основном тогда, когда мы слушаем других, и (в типичном случае) тогда, когда мы обращаем внимание на их лица. Причина в том, что разговор, помимо своей очной природы, обладает принципом организации на основе очередности. Слушая чью-то речь, мы часто думаем, что скажем в свою очередь. Хотя существуют некоторые кросс-культурные различия в том, как устроен очный разговор, поочередный диалог между двумя собеседниками тем не менее является заданной по умолчанию формой общения во всем мире. Что интересно, глобальные тенденции в этой очередности были открыты только недавно — тенденции, отражающие общие способы, которыми люди планируют и артикулируют предложения. Я хотел бы сосредоточиться на одной из этих тенденций, очевидной для всех культур.

Но для начала ответьте на такой вопрос. Какую паузу вы допускаете после высказывания собеседника, прежде чем подать свою реплику? Или, наоборот, какую паузу обычно допускает ваш собеседник после того, как вы закончили, прежде чем начать говорить самому? Большинство людей хорошо сознает, что молчание после того, как собеседник перестал говорить, становится социально неприемлемым, если его реплика повисает в воздухе. Более того, проходит не так много времени, прежде чем это молчание становится невежливым и приводит к коммуникативной неудаче, которая требует какого-то извинения. В 1989 г. социолог Гейл Джефферсон отметила, что носители английского редко ждут больше секунды, прежде чем подать свою реплику в диалоге после того, как их собеседник замолкает. Если пауза в разговоре длится дольше секунды, это часто служит указанием на то, что разговор не ладится или что один или оба участника готовы его завершить. Анализ Джефферсон основывался на тысячах диалогов, и закономерность была очень устойчивой. Она наблюдалась также во многих последующих экспериментах.

Притом одна секунда не есть какое-то магическое число и на самом деле мы редко допускаем между репликами в диалоге столь долгие паузы. Во многих случаях реплики даже перекрываются: мы начинаем говорить до того, как собеседник замолкает, если замечаем признаки того, что его реплика заканчивается. Лингвисты Стивен Левинсон и Франсиско Торрейра изучили более 20 000 промежутков между репликами в диалоге носителей английского. Длина этих промежутков варьировала примерно от минус одной секунды до одной секунды. (Числа меньше нуля отражают те случаи, когда реплики перекрывались или перебивались.) Подавляющее большинство промежутков, однако, длилось где-то около 200 миллисекунд. Иными словами, в диалоге на английском у людей уходит лишь около одной пятой доли секунды, чтобы подхватить разговор после того, как собеседник умолк. Немалое количество психолингвистических исследований предполагает, что людям требуется больше одной пятой секунды, чтобы спланировать словосочетание или предложение. Значит, очная беседа — настолько хорошо смазанный механизм, что участники способны предвидеть конец реплики собеседника и начать планировать свой ответ до того, как чужая реплика закончилась.

Причем эта закономерность характерна не только для английского. В ходе отдельных исследований на немецком и нидерландском материале также наблюдалось, что большинство пауз между репликами в диалоге длятся около 200 миллисекунд. Это близкородственные языки, но изучение неродственных языков показало сходные, хотя и не идентичные результаты. В исследовании 2009 г., посвященном десяти языкам из нескольких неродственных семей, для английского языка было выявлено вполне типичное среднее значение промежутка. В этой работе авторы сосредоточились не на всех паузах между репликами, а только на тех, что возникали между вопросами на «да/нет» и ответами на эти вопросы. Средняя продолжительность паузы между подобными вопросами и ответами в английском составила 236 миллисекунд. Самая короткая средняя пауза наблюдалась в японском — всего 7 миллисекунд. Самая длинная, 469 миллисекунд, в датском. Японский и датский, по-видимому, находятся на противоположных концах спектра длительности пауз. (Задержка между вопросами на «да/нет» и ответами на эти вопросы отчасти зависит от характера ответа: по-английски ответ «да» звучит намного быстрее, на ответ «нет» требуется вдвое больше времени и еще больше — на другие ответы типа «не знаю».)

Большинство исследований, о которых я рассказываю в этой книге, указывает на то, что языки намного разнообразнее, чем считалось прежде. Не существует языковых универсалий, которые бы единодушно признавали все лингвисты, как подчеркивалось во введении. Нет также единодушно признанных доказательств того, что языки обретают свою структуру благодаря какому-то конкретному языковому гену или набору языковых генов. Речь удивительно разнообразна в тех аспектах, которые мы упускали или рассматривали поверхностно во многих языковедческих исследованиях, отчасти в силу того, что пристальное внимание уделяется обычно малой выборке языков. Однако, как выявляют современные дискуссии, мы также упускали или рассматривали поверхностно некоторые интересные аспекты сходства языков. Просто те виды сходства, которые мы недооценивали, — совсем иного типа, чем сходства, которые мы искали в лингвистике. Многие лингвисты провели несметное количество часов, выискивая в языках мира универсальные закономерности грамматики — без особого успеха. Пусть подобные сходства не были обнаружены — по крайней мере, такие, что удовлетворили бы некоторых лингвистов, — существуют иные, четкие сходства, которые мы проглядели.

В их числе — закономерности очередности реплик в очной беседе. Возможно, мы принимали эту среду очного общения как должное, упуская все интересные пути, которыми она способствует формированию коммуникации. Очная среда накладывает ограничения на очередность реплик при коммуникации и даже кое-какие ограничения на продолжительность пауз между этими репликами. Языки следуют одной и той же общей закономерности: люди говорят поочередно и прерываются между репликами лишь очень ненадолго. У людей всех популяций одинаковое строение мозга, что позволяет обрабатывать услышанное, одновременно планируя, что мы хотим сказать дальше. В свете этого сходства, однако, стоит подчеркнуть, что существуют явные межкультурные различия в том, как люди планируют следующую реплику, одновременно слушая других. Например, носители японского и датского различаются по этому параметру, по крайней мере, судя по длительности пауз между репликами.

Почему так вышло, что вроде бы базовые аспекты речи, такие как зрительное внимание к жестам или то, как люди обдумывают очередность реплик, становятся известны только сейчас? Как мне представляется, мы только сейчас приступаем к настоящему исследованию определенных базовых фактов языка, потому что наши усилия были так долго сосредоточены на двумерных репрезентациях речи. Несомненно, письменность — чрезвычайно мощный инструмент и позволяет нам, например, фонетически транскрибировать дописьменные языки. Транскрипция дает лингвистам возможность документировать языки даже в отсутствие аудио- или видеозаписи. Это замечательно во многих отношениях, но письменность стала рассматриваться некоторыми как почти идеальный дистиллят коммуникации. Избыточная склонность полагаться на письменное слово и уделять ему внимание, вероятно, привела к необоснованной сосредоточенности на некоторых экзотических особенностях языка — скажем, грамматических характеристиках типа пассивного залога (который не так уж распространен в устной речи), — в то время как некоторые основные и повсеместные черты языка оставались без внимания, например, тот факт, что речь руководствуется очередностью очного диалога и порождается совместно со сложными мимическими и жестовыми движениями. Только теперь, когда лингвистический анализ все больше основывается на данных видео- и аудиозаписей (и часто на их количественном анализе), а не просто на письменных данных, мы начинаем понимать, что мы упустили. Есть и другие данные, к которым мы только приступаем. Как один из многих примеров, мое собственное нынешнее исследование, которое я веду совместно с сотрудниками Калифорнийского университета в Сан-Диего, посвящено тому, как звуки речи распространяют аэрозольные частицы, способные нести воздушно-капельные инфекции. К такому направлению исследований вряд ли приведет сосредоточенность исключительно на письменном слове.

Подробнее о книге «Мириады языков» читайте в базе «Идеономики».

Сообщение Написано на губах: как жесты и мимика дополняют язык появились сначала на Идеономика – Умные о главном.