Интерфейс мозг-компьютер: тенденции и потенциал в технологиях, науке и искусстве Сергей Шишкин, к.б.н. Курчатовский НБИК-центр Биофак МГУ им. М.В.Ломоносова 5th International Brain Computer Interface Conference (Sept. 22-24 2011, Graz, Austria) Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R. Wolpaw. Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. • Что такое интерфейс мозг-компьютер (ИМК) • ИМК и «выход мозга» • Управление через внимание: - руководство лабораторией через ИМК - наши работы по ИМК • Поиск новых приложений для ИМК Лекции по ИМК на UniverTV.ru • А.Я.Каплан. Интерфейс мозг-компьютер: теоретическая коллизия, экспериментальная парадигма, практическая необходимость или бизнеспроект? Школа «В будущее наук о мозге», 06.11.2009. http://univertv.ru/video/psihologiya/psihofiziologiya/shkola_v_buduwee_nauk_o_mozge_i_intellekte_1/interfejs_mozgkompyuter_teoretich eskaya_kolliziya_eksperimentalnaya_paradigma_prakticheskaya_neobhod/?mark=all • А.Я.Каплан. МКИ. Биотехническая нейрокоммуникация на основе биотоков мозга: на пороге новых открытий. Школа БиоН, 27.09.2010. http://univertv.ru/video/biology/obwaya_biologiya/shkola_proekta_bion_bioekonomika_osnovannaya_na_znaniyah_politika_innovacionno go_puti_razvitiya_biot/mki_biotehnicheskaya_nejrokommunikaciya_na_osnove_biotokov_mozga_na_poroge_novyh_otkrytij/ • Вадим Никулин. Экспериментальные методы в МКИ. Школа БиоН, 27.09.2010. http://univertv.ru/video/biology/obwaya_biologiya/shkola_proekta_bion_bioekonomika_osnovannaya_na_znaniyah_politika_innovacionno go_puti_razvitiya_biot/eksperimentalnye_metody_v_mki/ Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. ИМК - интерфейс между целостным мозгом и компьютером. Отличие ИМК от большинства исследовательских техник • Вместо статистического исследования достаточно больших выборок - получение скорейшего отклика с минимальной вероятностью ошибки. → Необходимо высокое соотношение «сигнал/шум»! «Управляющие компоненты» сигнала Стимулы Задача пользователя Основные задачи пользователя, используемые в современных неинвазивных ИМК • Моторное воображение → десинхронизация и синхронизация (ERD/ERS) в альфа- и бетадиапазонах. • Внимание к мелькающему свету → потенциалы стабильного состояния (steady-state visual evoked potentials, SSVEP). • Внимание к целевым стимулам → потенциалы, связанные с событиями, в особенности волна Р300. • Избирательное пространственное внимание без использование стимулов - топографически специфическое подавление альфа-ритма (группа O.Jensen). Пример: SSVEP BCI Основное назначение современных ИМК • «Протезирование» моторной функции у больных с ее полным (locked-in) или значительным нарушением. ИМК для здоровых: ожидания неспециалистов • Свобода – мысль → действие (без материальных ограничений!) • Скорость – без ущерба для точности и надежности • Усиление мозга компьютером – «счетные» операции, доступ к БД и т.п. В обозримом будущем – невозможно! Еще ожидания • Резервное копирование памяти • Перенос сознания (без комментариев) Скорость срабатывания интерфейса на моторном воображении The time needed to activate the gripper and the cumulative sum of activations for each of the subjects and for all four runs. Horki et al. Med Biol Eng Comput (2011) 49:567–577. Может быть, прогресс замедляет малое число инвазивных исследований? Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. → Компьютер должен помогать не только в «расшифровке» сигналов мозга, но и в низкоуровневом управлении движениями. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R. Wolpaw. Brain–computer interfaces as new brain output pathways. J Physiol 579.3 (2007) pp 613–619. Wolpaw & Wolpaw, in press. Новый выход мозга: что это? Где его создать? ? Требования к «выходу мозга» ? Феномен, к которому можно «подключить» компьютер, должен быть: • Динамичным • Он или его корреляты - доступными регистрации и распознаванию, по возможности в single-trial • Поддающимся управлению со стороны психики • Частично или полностью свободным от других функций Существующие «выходы мозга» для ИМК ? • Воображение (обычно моторное) • Внимание (разные виды) • Релаксация/напряжение Отдельный класс: потенциалы, связанные с ошибкой. Обусловливание, по-видимому, может дать и другие «выходы» (Neumann et al., 2003 – при управлении с помощью SCP; Kaplan et al., 2005 – неосознаваемый цветовой ИМК; возможно, парадигмы Emotiv), но лишь при длительном обучении. Управление через внимание Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer interface for long-term independent home use. Amyotrophic Lateral Sclerosis SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer interface for long-term independent home use. Amyotrophic Lateral Sclerosis SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer interface for long-term independent home use. Amyotrophic Lateral Sclerosis SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer interface for long-term independent home use. Amyotrophic Lateral Sclerosis Jonathan R.Wolpaw Invited lecture at 5th Int. BCI Conference, Graz, 24 Oct. 2011. ИМК-игры: модель для поиска новых путей развития ИМК и потенциальный тренажер внимания Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. (2011) Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference 2011, Graz, pp. 256-259. Высокая эффективность нового протокола Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. (2011) Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference 2011, Graz, pp. 256-259. ВАШЕ ВНИМАНИЕ ЖМЕТ НА КНОПКИ! СМОЖЕТЕ ЛИ ВЫ СТАТЬ ВНИМАТЕЛЬНЕЕ? Конференция «Когнитивная наука в Москве: новые исследования». Москва, 16 июня 2011 г. Попытка улучшить управление вниманием с помощью ИМК • Однопробный режим (singletrial) – приближение обратной связи к «мысленному действию» • Игровая задача, обеспечивающая: - постоянное тестирование внимания - эмоциональную обратную связь - стабильный интерес • 4 сессии Ганин, Шишкин, Каплан (2011) Индивидуальные данные по 4 сессиям Ganin I.P., Shishkin S.L., Kaplan A.Y. (2011) A P300 BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference 2011, Graz, pp. 308-311. • Стабильный интерес • Достаточная точность • Но – нет роста точности – нет улучшения внимания Как добиться эффекта? • • • • Увеличить соотношение сигнал/шум Увеличить число сессий Усилить мотивацию испытуемых Варьировать инструкции В случае успеха → тренажер внимания. Полет дизайнерской мысли http://brain.bio.msu.ru/ http://www.youtube.com/moscowbci http://www.neuroscience.ru/ > Блоги > SSh