на материале пересказов фильма о грушах

Жестовая кодировка
протагонизма (на материале
пересказов фильма о грушах)
Е.К. Павлова
Московский Государственный Университет
О.В. Федорова
Московский Государственный Университет
Междисциплинарность
• Исследование когнитивных процессов –
обращение к смежным наукам
• Исследование центральности референта в
дискурсе требует идей из разных областей
науки
Мультимодальный подход
• Не один, а три канала передачи
информации, [Kress 2010], [Кибрик
2010, 2013]:
Сегментный
Визуальный
Просодический
Мультимодальный подход
• Не один, а три канала передачи
информации, [Kress 2010], [Кибрик
2010, 2013]:
Сегментный
Визуальный
Просодический
Мультимодальный подход
• Визуальный:
• направление взгляда
• мимика
• позы
• жесты
Жесты
•
•
•
•
•
указательные (дейктические) жесты
жестовые ударения
изобразительные жесты
иллюстративные регуляторы
ритмические жесты
Жесты
•
•
•
•
•
указательные (дейктические) жесты
жестовые ударения
изобразительные жесты
иллюстративные регуляторы
ритмические жесты
Изобразительные жесты
[Николаева 2005]
• Преобладают
• Сопровождают наиболее содержательно
нагруженные фрагменты речи
• Сопровождают переформулировки
• Помогают в случае сбоев
• Чаще относятся к рематической части
высказывания
Последовательные пересказы
Ф. Бартлетта
• «Вспоминание» (Bartlett 1932)
• Эксперимент с пересказом мифа индейцев
Северной Америки
Последовательные пересказы
Ф. Бартлетта
• Экологический подход
• Идея последовательных пересказов
• Процесс вспоминания как реконструкции
Экологический подход
• Запоминание бессмысленных слогов
(Ebbinghaus 1885/1964)
• Запоминания из повседневной жизни
Последовательный пересказ
•
•
•
•
•
•
Текст
Пересказ испытуемого 1 испытуемому 2
Пересказ испытуемого 2 испытуемому 3
Пересказ испытуемого 3 испытуемому 4
…
Пересказ испытуемого n испытуемому n + 1
Вспоминание - реконструкция
• Реконструкция, а не точное повторение:
детали опускаются (названия, имена, качества
предметов)
• персонажи и события остаются
• Понятие схемы (= ‘фрейм’ (М. Минский),
‘скрипт’ (Р. Шенк и Р. Абельсон) и ‘сценарий’
(С. Гэррод) )
«Рассказы о грушах» У. Чейфа
• “The pear stories: Cognitive, cultural, and
linguistic aspects of narrative production”
1980
• Исследование дискурса у носителей разных
культур
• Шестиминутный ролик
Фильм о грушах
• Нет звучащей речи
• Нет специфических для определенного
народа реалий
• Должно быть понятно представителям
разных культур
Стимулы для порождения
различных текстов
•
•
•
•
•
Пейзаж
Насыщенная сюжетная линия
Причинно-следственные отношения
Мысли и эмоции героев
Незнакомые объекты
Протагонизм
• Центральность референта в дискурсе,
«главный герой»
• П. Кланси: главный герой – более
редуцированное средство (выражается
местоимением или нулем)
• Способ маркирования того, что смены
главного героя не произошло.
Протагонизм
• Givón 1990: способы измерения фактора
центральности
• Линник 2010: протагонизм не является
бинарным признаком
• Kibrik 2011: протагонизм повышает
коэффициент активации референта при его
реактивации
Сбор корпуса вторичных
пересказов
Нулевой этап
• Анализ «Фильма о грушах»
Первый этап
• Запись на видео и аудиоаппаратуру 30
записей пересказа «Фильма о грушах»
• 2,5 часа
• 15 000 словоупотреблений
• Анализ первого этапа:
• Количество вербальных упоминаний
Мальчика
Фермера
Троих мальчиков
В большинстве рассказов количество
вербальных упоминаний мальчика
преобладает
Второй этап
• Из собранного корпуса выбираем (по
вербальным упоминаниям):
Запись с протагонистом-фермером
Запись с протагонистом-мальчиком
Запись, в которой оба персонажа
получают примерно одинаковое
количество упоминаний
Второй этап
• Каждую из 3 выбранных видеозаписей
показываем 8 испытуемым и получаем 24
записи вторичных пересказов.
• Обрабатываем записи в программе ELAN
Второй этап: особенности
обработки
• Изобразительные vs. дейктические жесты
• Изобразительные жесты vs. жестыэмблемы
• Изобразительные жесты vs. движения глаз
и головы
Задача
• Проследить, как наследуется центральность
референта:
На вербальном уровне
На жестовом уровне
Коэффициент центральности (КЦ)
• отношение вербальных упоминаний более
центрального из двух героев к
упоминаниям второго
• Центральность референта сохраняется,
если КЦ вторичного рассказа отличается от
КЦ первичного на не более чем 20%
Результаты: вербальный уровень
• центральность фермера сохраняется хуже
всего
Результаты: жестовый уровень
• 1. Уменьшение количества изобразительных
жестов во вторичных пересказах
• 2. два главных героя и/или вербальный статус
главного героя во вторичном рассказе не
сохраняется
увеличение количества
жестов
• 3. Меньше всего жестов используется при
рассказах с протагонистом-мальчиком,
больше всего – с фермером
Механизм компенсации
• Поддержать «слабого» героя
Иллюстративные жесты: примеры
копирования
• показывать руками большой фартук с карманом на
животе, собирать в него груши, выкладывать груши
• забираться по лестнице, перебирая вверх руками, слезать
так же с лестницы
• показывать, как груши рассыпаются в разные стороны –
руки в разные стороны
• брать в руки ручки корзины с грушами
• показывать раму велосипеда – водить руками
параллельно земле
• показывать, как слетела шляпа, сделав движение рукой от
головы назад
• показывать дерево – вертикально водить рукой
Итоги
• Визуальный и вербальный каналы не идут
параллельно, а компенсируют друг друга
• Жесты играют важную роль в анализе
дискурса
• Взятая из смежной науки идея
последовательных пересказов дала
возможность изучать данную
лингвистическую область
Литература
Bartlett F. Remembering: A Study in experimental and social
psychology, Cambridge 1932
Mehrabian, A. Silent messages: Implicit communication of emotions
and attitudes. Belmont, CA: Wadsworth, 1981
Chafe W. (ed.) 1980. The pear stories: Cognitive, cultural, and linguistic
aspects of narrative production. Norwood.
Kress G. 2010. Multimodality: A social semiotic approach to
communication. London: Routledge Falmer.
Kibrik A.A. 2011. Reference in discourse. Oxford: OUP.
Кибрик А.А. 2010. Мультимодальная лингвистика // Когнитивные
исследования, вып. IV. М., 134–152.
Линник А.С. 2010. Лингвистическое обеспечение статистического
анализа корпуса, размеченного по референции. Дипломная
работа, ОТиПЛ филфака МГУ.
Николаева Ю.В. Значение и функции жестов-иллюстраторов в
устной речи // Материалы «Диалога-2005»
Спасибо за внимание!