Загрузил vinokurov1768

Реферат эргономика

реклама
Реферат по курсу:
«Эргономическое проектирование РТС»
по теме
Формирование многомодальных интерфейсов при
управлении манипуляторами для сборочно-монтажных работ
Выполнил:
Александров А.А.
Москва
2022
Содержание
Введение
3
1. Взаимодействие человека и роботов при операциях механической
сборки
4
2. Общие сведения о многомодальном управление роботами
7
3. Тактильное взаимодействие
11
4. Речевые команды и жесты
15
5. Сигналы головного мозга
18
Заключение
23
Список источников
24
2
Введение
Взаимодействие человека и робота (HRC) в контексте производства
направлено на создание общего рабочего пространства, где люди могут
работать бок о бок с роботами в непосредственной близости. При
коллаборативном производстве роботом роботы должны адаптироваться к
поведению человека, динамически изменяя свои заранее запланированные
задачи. Однако используемые сегодня роботы, управляемые жесткими
собственными кодами, больше не могут поддерживать эффективное
сотрудничество человека и робота. Для решения таких проблем в
настоящий
момент
активно
исследуется
и
используется
методы
многомодального управления, обеспечивающий надежное совместное
производство человека и робота. Они могут быть применены в качестве
решений для удовлетворения потребностей в повышенной гибкости и
адаптируемости, а также при более высоких затратах на обычное
(повторное)
программирование
роботов.
Эти
высокоуровневые
мультимодальные команды включают распознавание жестов и поз,
обработку голоса и тактильное взаимодействие без датчиков для
интуитивного управления при локальной и удаленной совместной работе.
3
1. Взаимодействие человека и роботов при операциях
механической сборки
Современные промышленные роботы-манипуляторы отличаются
высокой точностью, жесткостью и скоростью, а люди обладают высоким
уровнем гибкости и адаптивности, а также когнитивными способностями.
Основная
цель
HRC
-
объединить человеческие возможности с
эффективностью и точностью роботов. В условиях коллаборативности
роботы могут поддерживать и освобождать от работы людей-операторов,
облегчать
разносторонние
совместные
операции
и
повышать
производительность. Зачастую автоматизировання сборка сопряжена с
большими усилиями при программировании и наладке традиционного
промышленного робота – робот должен следовать строго заданной
программой последовательности действий, поскольку малейшая ошибка
может привести к поломке собираемых деталей или всего сборочного узла.
Роботизированные монтажные операции часто выполняются на рабочем
месте, обеспеченных специальными защитными ограждениями, при этом
доступ человека в рабочую зону ограничен по соображениям безопасности.
В таких условиях роботизированные сборочные ячейки способны
выполнять только некоторый строго определенный круг задач, что
отрицательно сказывается на гибкости и адаптивности такого типа
производства.
Использование HRC может способствовать повышению качества
продукции и общей производительности, и впоследствии были проведены
многочисленные
исследования
по
HRC.
Различные
сценарии
взаимодействия определяют различную степень близости для людей и
роботов.
Их
можно
классифицировать
как
"сосуществование",
"сотрудничество" и "коллаборативность". "Сосуществование" означает
4
независимую работу над различными задачами в смежных рабочих
пространствах без защитных ограждений, но не в общем рабочем
пространстве. "Сотрудничество" определяет одно и то же рабочее
пространство, где люди и роботы попеременно работают над разными
задачи
в
рамках
процесса,
но
без
прямого
взаимодействия.
"Коллаборативность" означает, что люди и роботы одновременно работают
над одними и теми же задачами в общем рабочем пространстве.
Преимущества HRC суммируются следующим образом:
1. более высокая производительность и качество продукции;
2. максимальная гибкость и адаптивность, а также высокая когнитивная
способность;
3. снижение рабочей нагрузки на персонал в условиях совместной
работы.
В области механической сборки и монтажных работ традиционный
подход к автоматизации достиг некоторого потолка. То, что можно было
автоматизировать, было автоматизировано, оставив остальное ручной
работе
людей-операторов.
Учитывая
преимущества
HRC,
активно
изучается возможность использования роботов в качестве партнеров по
сотрудничеству для оказания помощи людям на производстве и сборочных
линиях. Например, проводится всестороннее исследование HRC при
сборке, например, при сборке космонавтики и автомобилей. Между тем,
сборка HRC из десяти включает в себя набор сборочных операций, начиная
с планирования сборки и задачи распределение на выполнение задач и
действия робота. Сложная сборка может быть разложена на набор
сборочных операций, каждая из которых ассоциирована и определена как
элементы сборки (AFs), такие как размещение, вставка и сварка.
Комбинация набора AFS может быть использована для описания плана
задачи сборки, а также задача сборки определяется логикой сборки,
5
которая определяет последовательности сборки задачи. Поэтому для
облегчения
сборки
HRC
разрабатываются
различные
подходы,
использующие планирование сборки на основе AF. Безопасность в любой
системе
HRC
имеет
первостепенное
значение.
Для
обеспечения
безопасных параметров HRC были разработаны надежные решения по
обеспечению безопасности в роботизированных лабораториях. Однако
проблема безопасности остается самым большим препятствием для
широкого использования HRC в цехах некоторых заводов. Кроме того, для
этой цели разрабатываются строгие и всеобъемлющие стандарты и
директивы. Директивы ЕС ориентировочные общие стандарты и стандарты
на
роботов
разработаны
для
гарантии
безопасности
процедур
эксплуатации. Учитывая требования безопасности к HRC, был выпущен
новый стандарт безопасности для HRC (ISO/TS 15066:2016), который
определяет требования безопасности для систем совместной работы
промышленных роботов и рабочей среды [7]. Соответствует последнему
стандарту безопасности ISO/TR 23482-1:2020, в нем описываются методы,
которые могут быть использованы для тестирования роботов личной
гигиены с точки зрения требований безопасности, определенных в ISO
13482 [39]. Соответственно, были исследованы стратегии безопасности,
которые в основном учитывают три типа безопасности роботов, и они
определены как аварийная, активная и адаптивная безопасность. Первые
два работают только для "безопасных"/контролируемых столкновений и
своевременного обнаружения неминуемых столкновений соответственно.
Последнее
заключается
в
вмешательстве
обеспечения, а затем в принятии мер.
6
в
работу
аппаратного
2. Общие сведения о многомодальном управление
роботами
Индивидуальные или сложные сборочные операции часто должны
выполняться с высоким уровнем гибкости и адаптивности на сборочных
линиях HRC по сравнению с полностью автоматизированной или чисто
ручной
сборкой.
Последнее
требует
либо
больших
усилий
по
программированию робота в условиях меняющейся рабочей среды, либо
тяжелого ручного труда. Кроме того, роботы, используемые сегодня при
сборке HRC, часто управляются предварительно сгенерированными
жесткими
кодами,
а
традиционное
программирование
роботов
и
необходимые экспертные знания для перепрограммирования роботов также
остаются проблемой для широкого использования HRC в области сборки.
Параллельно
изменения
в
среде
HRC
могут
вызвать
перепрограммирование и перепланирование задач во время сборки.
Для
использование
поддержки
эффективного
человеческих
команд
HRC
активно
развивается
для облегчения интуитивного
управления роботом и эффективной сборки HRC, поскольку учебные
курсы по программированию роботов часто отнимают много времени. В
последние годы мультимодальное программирование роботов считается
многообещающим инструментом для интуитивного управления роботом
без специальных экспертных знаний по программированию роботов.
Параллельно развитие сенсорных технологий было использовано для
внедрения роботизированных/автоматизированных систем с возможностью
восприятия и когнитивных функций в производственных условиях.
Модальности восприятия часто облегчаются за счет одновременного
использования различных датчиков между людьми и роботами, а
взаимодополняющий
характер
различных
модальностей восприятия
мотивирует рассмотрение мультимодального объединения данных для
7
повышения эффективности в продвижении сборки HRC. Как один из
наиболее эффективных инструментов коммуникации, голосовые команды
широко применяются для облегчения интуитивного программирования и
управления роботом. Проект MORPHA продемонстрировал результаты
фундаментальных исследований использование речевых и сенсорных
инструкций для управления роботом и последующая исследовательская
деятельность в области интуитивного управления и программирования для
промышленных и сервисных роботов. Параллельно рассматривается
использование как естественного распознавания жестов в качестве канала
связи при проектировании мультимодального интерфейса человек-робот, и
тогда операторы-люди могут использовать как естественный язык, так и
жесты
для
взаимодействия
с
исследований
проекта
SMErobot
использования
речевых
и
мобильным
роботом.
Результаты
продемонстрировал
потенциал
жестовых
инструкций
в
интуитивном
программировании промышленных роботов. Кроме того, сочетание
распознавания речи с другими способами управления, такими как
тактильное управление, рассматривается как эффективное средство для
интуитивного взаимодействия с роботами, работающими совместно,
например роботы Universal и KUKA. Отчет проекта ЕС SYMBIOTIC
демонстрирует симбиотическую систему HRC, управляемую голосовыми
командами
и
производства,
жестовыми
где
инструкциями
операторы
могут
в
условиях
интуитивно
сборочного
работать
с
промышленными роботами для выполнения сборки задачи.
Шумный фон в производственном контексте остается важным
фактором, ограничивающим использование голосовых команд с точки
зрения точности распознавания в рамках онлайн-демонстрации. С этой
целью
исследуются
человеческие
жесты,
невербальный канал связи для интуитивного
8
которые
работают
как
программирования и управления роботом. Учитывая жесты, используемые
в HRC, их можно классифицировать как жесты рук, головы и лица, а также
жесты тела. Между тем, учитывая намерение, скрытое в жесте, их также
можно разделить на коммуникативные и манипулятивные с точки зрения
их характера. Первое может описывать коммуникативное намерение, в то
время как второе может использоваться для манипулирования объектом,
такого как перемещение, вращение и деформация. В контексте HRC
коммуникативные жесты делятся на символы или действия, которые
обычно используются для интуитивного программирования роботов.
Символические жесты помечены с лингвистическими функциями с
помощью референтных символов или модальных функций, а жесты
действия изображают само движение/действие, которые были исследованы
для прогнозирования движений человека и действий в сочетании с
алгоритмами искусственного интеллекта.
Голосовые
и
жестовые
команды
изначально
выдаются
и
контролируются человеческим мозгом. Это вдохновляет на рассмотрение
использования сигналов мозговых волн для управления устройствами и
манипулирования ими. Для этой цели были разработаны интерфейсы
мозг-компьютер (BCIS), которые собирают сигналы мозговых волн и
позволяют операторам-людям взаимодействовать с устройствами. То
потенциал
мозговой
деятельности
измеряется
с
помощью
электроэнцефалографии (ЭЭГ) сигналы через сенсорные гарнитуры. Таким
образом, коммерческая разработка и применение устройств, используемых
для BCI, привлекли внимание, и были разработаны различные сенсорные
гарнитуры,
встроенные
в разные каналы, и использовались для
взаимодействия человека с машиной/ компьютером. Сообщается о
всестороннем
исследовании
анализа
сенсорных
9
производительности
набора
гарнитур ЭЭГ, в котором предлагаются критерии для надлежащего выбора
и
использования
устройств.
Было
предпринято
множество
исследовательских работ по алгоритмам классификации сигналов ЭЭГ,
таким как CNNs, рекуррентные нейронные сети (RNNs) и графовые
нейронные сети (GNNs), а также их варианты.
Кроме того, тактильные инструкции, как команды на основе
контактов, обеспечивают мультимодальную поддержку сборки HRC в
качестве альтернативы командам на слух, жесты и мозговые волны.
Сверхмощные промышленные роботы часто не имеют мощность обратной
связи по силе/крутящему моменту. Для тактильного управления роботами
подход к взаимодействию без датчиков считается перспективным для этой
цели и основан на точной оценке силы контакта и адаптивном управлении
роботом. Их можно разделить на:
1) обобщенный остаточный метод, основанный на импульсе, с
действительными параметрами инерции
2) наблюдатели / оценки силы, основанные на возмущениях ;
3) методы оценки силы, основанные на сигнале тока к двигателю;
4) подходы, основанные на точных обратных динамических моделях
робота с точной идентификацией базовых параметров.
Однако
на
эти
подходы,
основанные
на
моделях,
немоделированные эффекты и параметрическая неопределенность.
10
влияют
3. Тактильное взаимодействие
Роботы играют важную роль в производстве, особенно в области
сборки, но они намного отстают от людей с точки зрения
приспособляемости и гибкости. Сложная сборка предъявляет высокие
требования к гибкости и адаптивности, в то время как полностью
автоматизированная сборка с помощью роботов или чисто ручная
сборка не могут быть выполнены в одиночку. Решение для сборки с
помощью
робота,
но
управляемое
человеком,
является
многообещающим в управлении такими сложными процессами сборки
по сравнению с полной автоматизацией, где гибкость и адаптивность
человека могут сочетаться со скоростью, точностью и управляемостью
робота. Однако большинство решения по сборке HRC в значительной
степени
зависят
от
дополнительных
вспомогательных систем,
например, датчиков силы или тактильных устройств, для управления
внешними
силами,
прилагаемыми
к
роботу.
К
сожалению,
большинство промышленных роботов большой мощности не имеют
встроенных датчиков силы/ крутящего момента. Установка датчиков
для
роботизированных систем оказывается невозможной из-за
стоимости
датчиков
Бессенсорная
и
сложности
механической
интеграции.
тактильно-управляемая
робототехника
открывает
возможности для решения таких задач.
На рис. 16 показан обзор конструкции системы для тактильного
управления промышленным роботом.
11
Рис. 1
Как показано на рис. 1, сенсорное тактильное управление
промышленным роботом включает в себя модули HRC и KRC (KUKA
Robot Controller), модуль кинематики и динамики, модуль управления
роботом и модуль связи. В модуле HRC и KRC разработана стратегия
тактильного управления без датчиков для управления роботом по
тактильной команде от человека. KRC отвечает за выполнение команд
движения и управления. KRC не открыт для пользователей роботов, и
доступные данные обратной связи от контроллера робота - это только
положение сустава и крутящий момент. Фактическое положение
робота, зависящее от оси, и текущий крутящий момент двигателя на
оси хранятся в системной переменной $AXIS_ACT_MEAS и
$TORQUE_AX-XIS_ACT, соответственно. Для получения доступа к
данным обратной связи и отправки команд движения в KRC связь
между человеко-машинным интерфейсом (HMI) и KRC построена на
основе кроссплатформенного интерфейса связи с открытым исходным
кодом JOpenShowVar, который позволяет считывать и записывать
переменные
и
данные
управляемых
манипуляторов.
Модуль
кинематики и динамики отвечает за кинематические и динамические
моделирование промышленного робота. Геометрические параметры
промышленного робота определяются с помощью модифицированных
систем координат на основе DH (Denavit–Hartenberg). Скорость и
ускорение
соединений
определяются
12
разницей
имеющихся
совместные позиции. Полученные данные обратной связи (положения
шарниров
и
крутящие
моменты),
скорость
и
ускорение
промышленного робота фильтруются, чтобы уменьшить влияние
шума, создаваемого дифференциалом. Встроенная кинематическая
модель используется для передачи между положения соединений в
пространстве соединений и положения конечного эффектора в
декартовом пространстве, в то время как динамическая модель
используется для получения выходных данных управления. Уравнение
динамики
робота
сформулировано
в
виде
линейной
идентификационной модели с определенными входными данными
(положения суставов, скорости, ускорения и крутящие моменты).
Кроме того, трение в суставах робота также учитывается в
динамической модели для повышения эффективности управления.
Следующим шагом для сенсорного тактильного управления является
внешний определение силы / крутящего момента, которое является
ключевым, а также обязательным условием роботизированного
тактильного управления. Выходные данные динамической модели
робота определяются как прогнозируемые крутящие моменты, в то
время как данные обратной связи о моментах соединения, полученные
от
контроллера
робота,
являются
измеренными
крутящими
моментами. Если человек-оператор не прикладывает никакого усилия
к конечному эффектору робота, внешняя сила не обнаруживается, и
прогнозируемые крутящие моменты равны измеренным. Когда
человек-оператор прикладывает усилие к роботу, внешняя сила,
вызванная
этим,
может
быть
обнаружена модулем внешнего
обнаружения, где внешняя сила определяется как разница между
прогнозируемой силой и измеренной силой. Прогнозируемая сила
может быть рассчитана с помощью матрицы Якоби на основе
полученных совместных моментов.
13
Роботизированное управление заключается в том, чтобы
заставить робота двигаться, когда человек-оператор прикладывает к
роботу внешнюю силу. В роботизированном управлении адаптивный
контроллер допуска предназначен для передачи внешней силы в
исходное положение и скорость, которые определяются как выходные
данные управления. Чтобы обеспечить взаимодействие между роботом
и для человека более естественно и проще, адаптивные параметры
допуска приняты в контроллере. Выходные команды управления
отправляются на контроллер робота для перемещения и выполнения
задачи. Пример применения тактильного управления манипулятором
представлена на рис. 2.
Рис. 2 – Процесс обучения показом манипулятора для сборки
двигателя внутреннего сгорания манипулятором
14
4. Речевые команды и жесты
Голосовые инструкции, как естественное и эффективное
средство
коммуникации,
могут
быть
приняты
как
способ
взаимодействия человека и машины. Роботизированная сборка требует
многих операций управления захватом, и это потребовало бы
большого объема роботизированного программирования, особенно
при изменении условий сборки. Чтобы позволить людям работать
параллельно
с
роботами,
жесты
рук,
как
невербальный
/
контекстно-зависимый канал связи, могут быть использованы для
управления захватами роботов.
CNN хорошо справляется с выявлением закономерностей,
лежащих в основе изображений, что делает их эффективными при
классификации спектрограмм, связанных с голосовыми командами.
Для этой цели представлена схема глубокого распознавания голоса на
основе CNN, как показано на рисунке 3, и она начинается с
преобразования аудиоданных в 2-D (мерные) спектрограммы в
частотно-временных
диапазонах
с
помощью
кратковременного
преобразования Фурье. Это связано с тем, что спектр аудиоданных
имеет большое значение как с точки зрения информации о времени,
так и с точки зрения частоты, а затем с использованием CNN для
извлечения
локального
паттерна
(отношения)
благодаря
распределению веса возможно надежное и безотказное распознавание
голоса. Затем сгенерированные изображения определяются как
входные данные модели deep CNN. Модель CNN включает в себя
операции свертки, максимального объединения, плотной и плоской
обработки, за которыми следует полностью подключенный слой для
вывода конечных результатов.
15
Рис. 3 – Структура CNN
Обучающий набор данных для распознавания речи создан
командами AIY и TensorFlow. Набор данных включает в себя набор из
105 829 односекундных аудиофайлов с 30 словами. Учитывая
управление движением в декартовом пространстве, выбираются шесть
типов голосовых команд: "Влево", "Вправо", "Вверх", "Вниз",
"Вперед" и "Назад", а общее количество выбранных аудиофайлов,
используемых для обучения, составляет 18 440. Наконец, выводятся
классифицированные
результаты
набора
голосовых данных, и
точность классификации тестового набора данных составляет 92,47%.
В естественной среде общения речевые сигналы обычно
сопровождаются коммуникативными жестами. Жесты рук как форма
невербального канала связи используются для управления роботом
вместе с речевыми командами. Для повышения эффективности
роботизированной сборки можно использовать управление захватом
робота на основе жестов рук. Для этого обычно используется
специальный датчик Leap Motion для сбора данных о жесте и
16
движении
руки,
которые
используются
для
представления
человеческих рук в реальном времени. В системе координат датчика
как показано на рис. 4 жест руки изображается тремя компонентами в
трехмерном пространстве, и они представляют собой положение
кончика пальца и центра ладони, а также ориентацию руки, которая
обозначается
компонентами,
параллельными
пальцу
и
перпендикулярными плоскости ладони, соответственно. Затем набор
векторов признаков, состоящий из расстояния, угла и высоты кончиков
пальцев, генерируется из данных , полученных датчиком, и служит
входными данными обучающей модели на основе LSTM для
классификации жестов.
Рис. 4 – Распознавание жестов с помощью датчика Leap Motion
Рис. 5 – Управление схватом робота с помощью жестов
17
5. Сигналы головного мозга
Чтобы освободить человека от утомительного традиционного
программирования роботов, в последние годы было проведено множество
исследований по интуитивному управлению роботами, и мозговые волны
человека показали многообещающие преимущества по сравнению с
тактильными, голосовыми и жестовыми командами. Эти человеческие
инструкции изначально выдаются и контролируются человеческим мозгом,
но в различных формах. Поэтому возникает исследовательский вопрос:
почему бы не использовать сигналы мозговых волн для непосредственного
управления роботами? Поэтому исследуются интерфейсы мозг-робот,
позволяющие людям общаться и взаимодействовать с роботы посредством
сигналов мозга, а также используются для преобразования мозговой
деятельности
в
форме
электроэнцефалографии
(ЭЭГ)
в
команды
управления роботом. Внешний стимул, такой как двигательные образы и
наглядные пособия, обычно используется для сбора сигналов ЭЭГ, когда
изменение активности мозга происходит из-за самого стимула [71]. Однако
основанный на стимулах подход к сбору ЭЭГ является сложным в
динамичном,
но
ограниченном
собрании
HRC
из-за
физических
ограничений условий совместной работы. В рамках brain robotics надежная
и точная трансляция ЭЭГ-сигналов без стимулов жизненно важна для
надежной совместной сборки на заводе полы в магазинах. Во время этого
процесса он включает в себя извлечение и распознавание мозговых волн,
декодирование нейронной активности и перевод сигналов ЭЭГ в
управляющие команды, которые роботы могут понимать для операций
сборки. Чтобы идентифицировать паттерн сигнала, сообщалось о многих
исследовательских усилиях, таких как двигательные образы, P300 и
классификация стадий сна.
18
Наиболее
очевидный
подход
заключается
в
использовании
сгенерированных характеристик сигнала в качестве входных данных и
глубоком обучении для обучения и распознавания паттернов. Затем
используется канал связи между людьми и сенсорной гарнитурой ЭЭГ для
взаимодействия с помощью мозговых волн и устройств в условиях
совместной работы. Однако неопределенность в среде HRC во время
сборки, такая как изменение задачи и / или окружающей среды, может
вызвать большие усилия по перепрограммированию и перепланированию
задач сборки, а адаптивное управление роботом с помощью мозговых волн
остается проблемой и препятствует широкому использованию HRC при
сборке. Кроме того, мозговые волны не могут быть непосредственно
поняты роботом, а преобразование мозговых волн в команды для
управления роботом и выполнения задач затруднено на уровне машины/
контроллера. Чтобы решить эту проблему, FBs представлены стандартом
IEC 61499 и широко используются для управления распределенными
промышленными системами и процессами. Управляемый событиями FB
изображается функциональным модулем, встроенным в инкапсуляцию
алгоритма, вызов и выполнение управления, а также адаптивное
управление роботом во время сборки робота может быть облегчено с
помощью FBs. В системе HRC мозговые волны могут служить командой
высокого уровня для запуска выполнения FB для управления роботом, а
управляемые событиями FB с алгоритмами сборки и управления служат
связующим звеном между роботами и мозговыми волнами.
Один из пример реализации многомодального интерфейса для
управления роботизированной сборочной ячейкой представлен на рис. 6.
19
Рис. 6 – Структура системы управления роботизированной сборкой
при помощи мозговой активности
Структура системы управления включает в себя четыре модуля для
эффективной
сборки
HRC,
при
этом
мозговые
волны
служат
управляющими входными командами для FBS, которые, в свою очередь,
обеспечивают микрокоманды для адаптивного управления роботом и
совместной сборки. Модуль 1 предназначен для сбора мозговых волн с
сенсорной гарнитуры ЭЭГ и сегментации мозговых волн командной фразы
с удалением фонового шума в командные слова. Модуль 2 использует
вейвлет-преобразование для преобразования мозговой волны во входные
данные
объектов
для
сверточной
нейронной
сети
с
пространственно-временными графами (STGCN). Модуль 3 представляет
собой сеть FB, в которую встроены алгоритмы управления, активируемые
классифицированными командами, а FB на основе функций сборки (AF)
определяются и используются для совместной сборки, где мозговые волны
преобразуются в команды управления роботом. Модуль 4 принимает и
выполняет результирующие микрокоманды для управления роботом и
выполнения задач сборки.
20
На рис. 7 показана практическая реализация алгоритма
мозгового управления манипулятором при сборочной операции. Процесс
сборки состоит из 6 контрольных этапов. Шаг 1 начинается с мозговой
команды "робот разместит цилиндр". СИФБ (SEVER) передает записанные
сигналы ЭЭГ в классификатор, и сигналы командных фраз сегментируются
на командные слова субъекта, сказуемого и объекта соответственно.
Извлеченная матрица признаков сигналов служит в качестве входных
данных
для
модели
STGCN,
за
которой
следует
вывод
классифицированных результатов. Это контекстно-зависимые командные
слова ‘робот’, ‘место" и "цилиндр" с точностью классификации 84,26%,
81,52% и 85,11% соответственно, и компоненты "предикатов" определены
как запускающие события для определенного FBs. Значения субъектов и
объектов, которые содержат информацию исполнителя (робота) и детали
(цилиндра), присваиваются переменным PRobot и PPart соответственно.
Последний определяет информацию о положении цилиндра и блока
цилиндров, а также положение захвата цилиндра в роботизированной
системе координат. Событие ‘Place’ активирует выполнение ‘Place AF FB’,
как показано на шаге 2 . В рамках FB, the алгоритмы захвата и управления
движением
выполняются
для
генерации
действительных
команд
управления, которые выполняются на контроллере робота через CLIENT
SIFB. Затем, выполняя эти команды, робот перемещается к головке блока
цилиндров и захватывает ее с допуском в миллиметр, как показано на
вставке. Шаг 3 управляет роботом для установки головки блока цилиндров
на блок двигателя, а человек-оператор параллельно работает с роботом для
регулировки цилиндра.
21
Рис. 7 – Управление роботизированной сборкой посредством
сигналов головного мозга
22
Заключение
В
этой работе были рассмотрены основы многомодального
управления при взаимодействии человека и робота в операциях
механической
сборки.
Многомодальное
управление обеспечиваемое
четырьмя способами управления.
Первый заключается в использовании голосовых команд для
управления движением робота в декартовом пространстве, и алгоритмы
предназначены для обработки и классификации голосовых команд, а также
перевода действительных команд движения робота. Второй заключается в
использовании невербальных команд (инструкций по жестам рук) для
управления захватом робота в сборке HRC, а высокоточная система
классификации обучается распознавать шаблоны жестов, чтобы команда
жеста руки может быть связан с действительной командой управления
захватами робота.
Третий способ управления заключается в применении мозговых волн
для интуитивного управления промышленными роботами и содействия
совместной
сборке,
особенно
в
шумных
средах
с
ненадежным
распознаванием голоса или в условиях, когда операторы заняты другими
задачами и не могут совершать жесты. Новая схема макро/микроконтроля
для сборки HRC реализуется функциональными блоками, запускаемыми
командами из системы глубокого обучения, обрабатывающей ЭЭГ.
Последний - это подход к сборке HRC с тактильным управлением без
датчиков, который управляется человеком устройства для тактильного
управления
промышленными
роботами
без
использования
дополнительных датчиков во время совместной сборки. Он предлагает
мультимодальную поддержку сборки HRC в качестве альтернативы
бесконтактным командам.
23
В целом использование многомодальных методов управления
является
достаточно
перспективным
направлением
развития
коллаборативных робототехнических систем в силу высокого уровня
гибкости и адапативности.
Список источников
1. Liu, Sichao & Wang, Lihui & Wang, Xi. (2020). Symbiotic
Human-Robot Collaboration: Multimodal Control Using Function Blocks.
Procedia CIRP. 93. 10.1016/j.procir.2020.03.022.
2. Wang, Lihui & Liu, Sichao & Liu, Hongyi & Wang, Xi. (2020).
Overview
of
Human-Robot
Collaboration
in
Manufacturing.
15-58.
10.1007/978-3-030-46212-3_2.
3. Liu, Hongyi & Fang, Tongtong & Zhou, Tianyu & Wang, Yuquan &
Wang, Lihui. (2018). Deep Learning-based Multimodal Control Interface for
Human-Robot Collaboration. Procedia CIRP. 72. 10.1016/j.procir.2018.03.224.
24
Скачать