Введение

Жестовые и разговорные языки используют две разные модальности: визуально-жестовую модальность жестовых языков и устно-слуховую модальность разговорных языков. Хотя эти две модальности явно различаются по производству и восприятию коммуникативных сигналов, лежащие в их основе лингвистические структуры кажутся очень похожими для обеих модальностей . Кроме того, психо- и нейролингвистические исследования с участием глухих и здоровых сурдопереводчиков показывают, что жестовые языки имеют доступ к тем же самым нейронным сетям, участвующим в обработке слуховой речи, хотя и с некоторыми специфическими модально-специфичными характеристиками .

Тем не менее, жестовые языки сохраняют некоторые модально-специфические свойства, которые могут влиять на языковую структуру и когнитивные процессы, лежащие в основе восприятия и создания жестового общения, и которые влияют на обработку данных жестового языка.

Прежде всего, языки жестов используют различные артикуляторы, такие как руки, верхняя часть тела, голова и лицо, для одновременного выражения грамматических особенностей.

Во-вторых, языки жестов используют геометрические свойства пространства знаков для реализации морфосинтаксических, семантических и прагматических категорий в трехмерном пространстве знаков .

В-третьих, языки жестов грамматизируют и интегрируют элементы жестов, поскольку языки жестов и мануальные, а также немануальные жесты используют одну и ту же модальность. Как следствие, интерфейс между этими двумя системами проницаем и приводит к более заметному присутствию иконичности на разных грамматических уровнях. Напротив, между сигналами, используемыми в слуховой коммуникации, и их значением гораздо меньше прозрачности.

Помимо этих лингвистических различий, жестовые языки отличаются от многих разговорных языков еще и по различным социолингвистическим параметрам. В следующем разделе мы сначала рассмотрим эти аспекты и обсудим последствия довольно разнородной группы пользователей жестового языка для лингвистических исследований. Во второй части мы обратимся к влиянию модальности на выявление и аннотирование данных жестового языка. Конкретные практические и концептуальные проблемы могут возникать из-за неоднородности лингвистических информаторов и субъектов, отсутствия системы письма, материальных свойств данных и модально-специфических лингвистических аспектов языков жестов, упомянутых выше.

Обратите внимание, что, хотя некоторые из этих проблем могут быть актуальны и для некоторых разновидностей разговорных языков (например, для разговорных языков без письменной формы, используемых языковыми меньшинствами в многоязычных контекстах), другие проблемы явно зависят от модальности. Поскольку основное внимание в этой статье уделяется обработке данных на языке жестов, мы обсуждаем разговорные языки лишь вскользь. Однако окажется, что опыт, накопленный в лингвистических исследованиях жестовых языков, прокладывает путь к новым мультимодальным исследованиям разговорных языков.

Проблема источника данных

Формальный лингвистический анализ обычно опирается на свидетельства, предоставленные носителями изучаемого языка или разновидности. Это может включать различные типы собранных спонтанных или полуспонтанных произведений, вызванных высказываний или суждений о грамматике. Несмотря на неизбежную абстракцию в отношении разных носителей, считается само собой разумеющимся, что их компетентность достаточно схожа в силу того, что они усвоили язык естественным образом типичным, беспроблемным образом.  Однако такое простое предположение не может быть сделано для жестовых языков из-за их крайне своеобразных социолингвистических настроек и, в частности, их доминирующих моделей усвоения.

По крайней мере, для западных обществ часто считается само собой разумеющимся, что только 5-10% глухих детей рождаются у глухих родителей или в среде, где язык жестов достаточен для того, чтобы ребенок развивал языковую компетенцию естественным образом. Это означает, что большинство глухих младенцев (оставшиеся 90–95% глухих детей при рождении) окружены не естественным языком в вполне доступной им наглядно-жестовой модальности, а разговорной речью.

Путь овладения языком для них определяется множеством факторов:

• (1) слышащие родители могут решить сами изучать и использовать язык жестов с ребенком.
• (2) родители могут выбрать модель обучения, которая в разной степени благоприятствует общению и обучению языку жестов (от школ для глухих до двуязычных программ, встроенных в обычные школы);
• (3) родители часто сталкиваются с выбором дать своему ребенку кохлеарный имплант, который облегчит доступ к разговорному языковому сигналу после регулярных и интенсивных тренировок.

Эти элементы уже делают очевидным, что для большинства глухих детей доступ к языку в критический период будет, мягко говоря, неопределен, и в любом случае будет более неполным или ухудшенным, чем в случае по умолчанию, когда богатый языковой ввод является частью окружающей среды. Возьмем, к примеру, благоприятный, хотя и необычный случай, когда родители решают использовать с ребенком язык жестов и выбирают детский сад и школу, которые предлагают бимодальный двуязычный подход: даже в этом благоприятном случае большинство взрослых языковых моделей будут неродными (слышащие родители, слышащие учителя и школьные переводчики, изучающие язык жестов как второй язык), а некоторые из них будут использовать смешанные формы языка (как правило, разговорная структура навязывается по знаку), тем самым обеспечивая ввод, строго говоря, качественно отличный от нативного.

Очевидным следствием этой ситуации является то, что большинство сурдопереводчиков в сообществах глухих приобрели свой жестовый язык при таких особых обстоятельствах и не подпадают под строгое определение носителей языка или сурдопереводчиков. К этому мы должны добавить тот факт, что регулярный контакт с языком жестов может иметь место на разных этапах жизни, и довольно часто глухие дети первоначально воспитываются только на разговорном языке, и что они знакомятся с языком жестов после первого года жизни, технически превращая их в тех, кто рано или поздно начинает изучать то, что обычно становится их основным языком общения. В этой ситуации довольно часто бывает так, что доступ к разговорной речи в раннем возрасте настолько ограничен, что позднее овладение жестовым языком является не обучением, а просто отсроченным обучением в аномальном возрасте (позднем детстве, подростковом или взрослом возрасте), что приводит к аномальным неврологическим отображениям языка. Исследования подтвердили предположение, что такие разные пути овладения языком должны влиять на языковую компетенцию.

Наряду с такими нетипичными путями овладения языком, лингвистические исследования также должны учитывать, что большинство глухих сурдопереводчиков обладают двуязычной компетенцией в результате овладения разговорным языком в той или иной степени, даже если это язык, усвоенный первым в хронологическом порядке. В настоящее время компетенция устной речи у сурдопереводов идет двумя разными путями: в основном компетенция в письменной форме, в результате обучения и взаимодействия с окружающим слышащим обществом; компетентность в разговорной модальности из-за распространения кохлеарных имплантатов, что обычно включает в себя внедрение в образование и интенсивную логопедию. В этой картине постлингвальные глухие дети представляют собой еще один случай, поскольку они приобретают разговорную речь по большей части, когда теряют слух.

Среди говорящих на двух языках необходимо учитывать еще одну группу: слышащие носители языка, наиболее известные как бимодальные двуязычные. Эта популяция формируется из слышащих детей глухих взрослых, которые подвергались воздействию жестов с рождения и приобрели его изначально, одновременно осваивая окружающий разговорный язык в более широком семейном контексте, в школе и в социальном взаимодействии. Они образуют идиосинкразическую языковую группу, которая совсем недавно привлекла внимание в рамках изучения двуязычной компетенции. В некотором смысле они представляют собой уникальный случай полного одновременного двуязычия в двух модальностях, учитывая их беспроблемный доступ к вводу как на жестовом, так и на разговорном языке. Они открывают уникальное окно в двуязычный разум, способный обрабатывать и экстернализовать высказывания, реализуемые в двух каналах одновременно, а именно кодовые бленды.

Это беглое описание факторов, влияющих на индивидуальную компетентность пользователей языка жестов, подчеркивает сложность попытки охарактеризовать языковую компетентность в сообществе жестов. По-прежнему распространена практика – по крайней мере среди формальных лингвистов – изучать структуру жестового языка, полагаясь на свидетельства, предоставленные носителями языка жестов, даже если они составляют очень небольшое меньшинство в сообществах жестов. Их нехватка часто связана с трудностями в доступе к носителям языка в качестве языковых консультантов, которые готовы сотрудничать и предоставлять данные, а в некоторых случаях это даже невозможно, как обсуждалось.

Учитывая эти ограничения, были предложены некоторые альтернативы. Один из них заключается в работе с консультантами, которые максимально приближены к носителю языка жестов:

• (1) знакомство с жестовым языком в возрасте 3 лет;
• (2) ежедневный контакт с языком жестов в сообществе глухих в течение более 10 лет. Для лингвистических исследований им также требовалась
• (3) способность легко выносить суждения о грамматике, также установить это возрастное ограничение в 3 года для овладения языком жестов, чтобы считать кого-либо носителем языка жестов.

Такие приспособления кажутся желательными с практической точки зрения, но может случиться так, что даже с этими небольшими отклонениями от строгой родственности все еще трудно найти консультантов по языку жестов, учитывая их дефицит в некоторых областях.

Модальность жестовых языков и сбор данных

В предыдущем разделе мы обсудили различные индивидуальные и социальные факторы, которые могут повлиять на любой вид сбора эмпирических и экспериментальных данных, аннотации, оценки и документирования. Некоторые из них связаны с тем, что языки жестов являются языками меньшинств и что глухие носители жестов составляют уникальное языковое меньшинство. Другие связаны с особым типом овладения языком, влиянием окружающего разговорного языка (языков) и (лингвистической) неоднородностью сообщества глухих. Прежде чем мы обратимся к модальным аспектам, которые могут повлиять на сбор данных, мы кратко обсудим, как эти аспекты необходимо учитывать в эмпирических исследованиях жестовых языков.

Прежде всего, работа с языковыми меньшинствами требует неукоснительного соблюдения самых высоких стандартов этических принципов. Это особенно важно, поскольку большинство видов сбора данных связаны с видеозаписью, а это означает, что информаторы или субъекты всегда видны и их можно четко идентифицировать. Из-за очень специфических свойств визуально-жестовых языков данные нельзя легко сделать анонимными, поскольку каждая часть верхней части тела и лица передает важную грамматическую и прагматическую информацию. Это подводит нас ко второму аспекту: данные жестового языка обычно представляют собой видеоданные, то есть лингвисты жестового языка всегда используют, собирают, аннотируют и анализируют довольно сложную визуальную информацию. В отличие от многих разговорных языков, жестовые языки не имеют письменной формы, которую можно использовать для сбора и хранения данных. Лингвистические глоссы, используемые в исследованиях жестовых языков, всегда являются лишь упрощенными лингвистическими представлениями многомерной визуальной информации соответствующего видео, документирующего высказывание. Мы вернемся к этому вопросу ниже.

Более того, эффективных инструментов для автоматической обработки и аннотирования видеоданных на языке жестов пока нет. В-третьих, неизбежен тщательный сбор метаданных для уточнения значимости конкретного набора данных, собранных в ходе эмпирического исследования. Достоверность данных зависит от типа информантов и испытуемых, участвующих в исследовании. Связанный с этим четвертый аспект заключается в том, что каждое эмпирическое исследование должно начинаться с четкого определения социолингвистических особенностей информантов и субъектов исследования, чтобы получить оптимальные и ценные эмпирические данные для обсуждаемого вопроса лингвистического исследования. Это особенно важно для исследований с небольшими группами информантов и испытуемых. В-пятых, эмпирические исследования всегда должны проводиться в среде, удобной для языка жестов, которая включает взаимодействие и обучение на языке жестов, а также использовать методы исследования, удобные для глухих.

В идеале исследование проводит глухой исследователь. Так же, данные должны быть аннотированы и оценены смешанными группами, включая глухих исследователей. И последнее, но не менее важное: лингвисты должны осознавать тот факт, что пользователи жестового языка являются не только языковым меньшинством, но и во многих странах и регионах представляют собой очень небольшие группы, в которых много неакадемических членов. Поэтому любой вид сбора данных должен учитывать особые потребности этих групп и включать регулярную деятельность по передаче знаний и их распространению на местном жестовом языке.

Неоднородность сообщества глухих также может напрямую влиять на результаты лингвистических исследований. Во многих западных обществах жестовые языки были признаны лишь недавно. Следовательно, информанты и испытуемые, возможно, выросли в билингвальной или строго говорящей среде, где языки жестов не преподавались в школе (и даже не использовались в классе). Эта ситуация, которая не связана с модальностью, но типична для многих жестовых языков, может оказывать влияние на оценку лингвистических данных и суждения о грамматике жестами, особенно в задачах, где предоставляется определенная информация (например, языковые контексты). на разговорном языке или когда ответы на лингвистические вопросы должны быть даны на разговорном языке.

Следовательно, как упоминалось ранее, следует принимать во внимание специфическую языковую осведомленность в устной среде и тот факт, что глухие сурдопереводчики обычно двуязычны. В целом, следует по возможности избегать использования устной речи для задач по извлечению информации, чтобы свести к минимуму помехи. Это означает, что инструкции и контексты, необходимые для контролируемого извлечения данных, должны быть предоставлены на исследуемом жестовом языке.

Давайте теперь обратимся к специфическим для модальности аспектам жестовых языков, которые важны в данном контексте. Во-первых, в отличие от разговорных языков жестовые языки характеризуются относительно длительной фазой перехода между двумя языковыми единицами.  Одной из причин этого является то, что языки жестов, в отличие от разговорных, используют относительно массивные артикуляторы, которые выполняют длинные движения . Следовательно, фонологические параметры изменяются гораздо медленнее, чем в разговорных языках. Кроме того, фонологические параметры могут реализовываться одновременно, то есть в переходной фазе одновременно может изменяться более одного параметра. Следовательно, переходная фаза не является лингвистически пустой, но уже содержит много лингвистической информации (изменение формы руки, направления движения и т. д.), которую можно использовать для идентификации предстоящего жеста, и, таким образом, поднимает некоторые концептуальные и практические вопросы для эмпирических исследований и корпусной лингвистики.

Давайте кратко обсудим здесь три проблемы:

(1) В языках жестов представление сложных стимулов знак за знаком проблематично, поскольку руки должны либо вернуться в нейтральное положение в пространстве жестов, либо видео обрезается посередине. Оба варианта весьма искусственны, так как переходная фаза, соединяющая два знака, отсутствует или прервана. Кроме того, дополнительные неручные маркеры могут одновременно охватывать более одного знака, что делает представление сложных стимулов познак за знаком еще более неестественным.

(2) При корпусной аннотации мы сталкиваемся с проблемой определения знака и смещения. Слишком строгое определение on- и offset оставило бы нам много промежуточного материала, переходной фазы, не имеющей никакой лингвистической ценности. Гибкое определение оставляет нам проблему, заключающуюся в том, что on- и offset могут быть идентифицированы только в контексте и могут варьироваться между примерами и аннотаторами. В обоих случаях это может привести к фальсификации результатов статистической оценки корпусных данных.

(3) В онлайн-исследованиях идентификация начала признака напрямую влияет на временную оценку экспериментальных данных. Однако для оценки данных экспериментатор должен решить, какой момент времени он использует для определения появления признака. Дело обстоит еще сложнее, поскольку распознавание появления признака испытуемыми может варьироваться от эксперимента к эксперименту. Распознавание предстоящего события может зависеть от информации, доступной в контексте, от информации, предоставляемой одновременно ручными и не ручными действиями, и от свойств самого критического знака.

Поэтому экспериментатор должен решать эту проблему осторожно и прозрачно. Связанный с этим практический аспект заключается в том, что в корпусах и экспериментах начало знака и триггер (т. е. фиксированное по времени положение) должны быть идентифицированы вручную в видео. Это означает, что аннотаторы со знанием языка жестов должны определять соответствующие моменты времени в каждом видео кадр за кадром, что является очень трудоемкой задачей (обсуждение идентификации триггеров в экспериментах ERP см. экспериментатор должен решать эту проблему осторожно и прозрачно. Связанный с этим практический аспект заключается в том, что в корпусах и экспериментах начало знака и триггер (т. е. фиксированное по времени положение) должны быть идентифицированы вручную в видео. Это означает, что аннотаторы со знанием языка жестов должны определять соответствующие моменты времени в каждом видео кадр за кадром, что является очень трудоемкой задачей (обсуждение идентификации триггеров в экспериментах ERP см. экспериментатор должен решать эту проблему осторожно и прозрачно. Связанный с этим практический аспект заключается в том, что в корпусах и экспериментах начало знака и триггер (т. е. фиксированное по времени положение) должны быть идентифицированы вручную в видео.

Видеостимулы представляют собой еще одну проблему для другого вида экспериментальных онлайн-исследований, а именно исследований слежения за глазами. В экспериментах по отслеживанию взгляда на жестовых языках типичные показатели, такие как фиксация и саккады, сложнее определить и связать с лингвистическим входом, чем в типичных экспериментах по отслеживанию взгляда на разговорных языках, которые представляют ввод в письменной форме. Это может быть одной из причин, почему до сих пор было проведено лишь несколько исследований по отслеживанию движений глаз на жестовых языках. Эти исследования сосредоточены либо на взгляде подписывающих во время производства, либо на вопросе, обычно ли адресат фокусируется на лице подписывающего лица . Очень немногие исследования проводили эксперименты с визуальным миром, в которых визуально представленные элементы являются не лингвистическими объектами (например, отдельными знаками или сложными высказываниями), а изображениями, так или иначе связанными с лингвистическим вводом. Отсюда, с одной стороны, отсутствие системы письма препятствует лингвистическому изучению движений глаз при обработке письменной формы языка. Это означает, что стандартные методы, хорошо зарекомендовавшие себя в психолингвистических исследованиях письменной формы разговорных языков, неприменимы к жестовым языкам.

С другой стороны, представление визуальных стимулов (т. е. видеозаписей естественно обозначенных стимулов) позволяет определить области интересов по множеству различных стимулов и лингвистическую оценку дополнительных движений глаз, связанных с лингвистическим вводом (например, в парадигме визуального мира). ) труднее. Таким образом, специфические свойства визуально-жестовой модальности усложняют применимость стандартной онлайн-методики экспериментального лингвистического исследования.

Наконец, обратимся к влиянию трех модально-специфических свойств, упомянутых во введении: одновременности, пространства и жеста. Все три свойства требуют разумных теоретических решений и требуют дополнительных усилий при транскрипции и аннотации лингвистических примеров, собранных в корпусе или в производственном исследовании. С одной стороны, форма и функция одновременно используемых артикуляторов должны быть аннотированы на разных уровнях. Поскольку эти артикуляторы выражают грамматические свойства на разных лингвистических уровнях (просодии, морфологии, синтаксиса, семантики и прагматики) и взаимодействуют нетривиально, даже простые примеры требуют сложных аннотаций. Учитывая тот факт, что автоматическая сегментация и аннотация пока недоступны для данных жестового языка, очевидно, что сложные последовательности аннотаций данных жестового языка требуют чрезвычайно много времени. Аналогичной проблемой является отображение трехмерных свойств пространства подписи на двумерную схему лингвистической аннотации. Это касается не только фонологических свойств лексических знаков, но и грамматических признаков, реализуемых в знаковом пространстве. С другой стороны, мануальные и немануальные жесты и знаки не всегда легко различить. Это приводит к специфичной для модальности проблеме интеграции жестов или жестоподобных элементов на различных уровнях в лингвистическую аннотацию. Эта проблема предполагает, однако, четкое теоретическое определение жеста и знака, а также взаимодействия жестов и знаков.

Три характерных для модальности свойства также поднимают интересные вопросы для экспериментальных исследований и затрудняют кросс-модальные сравнения между разговорным и жестовым языками. Рассмотрим сначала одновременность и пространство. Поскольку языки жестов используют пространственные и одновременные маркеры для реализации грамматических особенностей, создание контролируемых стимулов не всегда легко. Пространственные грамматические особенности, такие как R (референциальные) локусы, могут, например, быть отмечены вручную (движение и ориентация глаголов соглашения) или не вручную (наклон тела, движение головы или взгляд). Экспериментальные исследования по использованию R-локусов могут, например, потребовать контроля одновременной неручной идентификации R-локусов в стимулах для исследования ручных грамматических свойств местоимений или согласованных глаголов. Следовательно, экспериментатор может решить нейтрализовать неручные маркеры в примерах. Однако это может привести к совершенно неестественным раздражителям и, таким образом, повлиять на результаты эксперимента. То же самое относится и к другим немануальным действиям, таким как рот или выражение лица.

Связанная с этим проблема заключается в том, что пространственные признаки не могут быть полностью нейтрализованы, поскольку любой знак создается в пространстве. Следовательно, даже создание простого знака может повлиять на пространственные интерпретации. Напротив, если мы используем только естественные стимулы в экспериментальных исследованиях, мы не сможем контролировать стимулы в той степени, в какой это необходимо для достоверной и надежной оценки данных. Аналогичная проблема может возникнуть из-за использования иконических знаков и элементов жестов в жестовом языке, что может повлиять на суждения о грамматике и вызвать различные пути обработки.

Краткая аннотация

В этой статье мы показали, что лингвисты жестового языка сталкиваются с рядом проблем, которые связаны либо с социолингвистическими аспектами жестового сообщества (проблема источника данных), либо со специфическими лингвистическими аспектами визуально-жестовой модальности и методологические проблемы сбора данных жестового языка, аннотации и создания стимулов (модальности и сбора данных). Кроме того, мы утверждали, что, хотя некоторые из этих проблем также касаются лингвистических исследований разговорных языков (в частности, разговорных разновидностей небольших сообществ без письменной традиции, таких как так называемые итальянские диалекты), другие проблемы носят более модальный характер. специфический. Таким образом, изучение языков жестов, как правило, занимает гораздо больше времени, чем аналогичные исследования разговорных языков. особенно устоявшихся и хорошо задокументированных разговорных языков. Тем не менее, решение этих проблем стоит затраченных усилий, поскольку опыт, полученный в ходе эмпирических и экспериментальных исследований жестовых языков и документации жестового языка (справочные грамматики и корпусы), в то время как в некоторых отношениях уместный для эмпирических исследований в небольших разговорных языковых сообществах, в других отношениях новаторская работа и проложит путь для будущих мультимодальных исследований разговорных языков, включая жесты совместной речи и выражения лица.