Выполнил: Раздельщиков К.С. Группа: КП-501 Факультет: МТ Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 1. Кватернионная нейронная сеть Кватернион образует класс гиперкомплексных чисел, состоящий из действительного числа и трех мнимых чисел. Кватернион q определяется как где qi (i = 0, 1, 2, 3) - параметр действительного числа. Единица действительного числа равна 1, а три мнимых единицы - i, j и k. Это ортогональные пространственные векторы. Алгебра кватернионов не является коммутативной и удовлетворяет следующим правилам Гамильтона: Конъюгат кватерниона q* определяется как и умножение между одним кватернионом и его сопряженным определяется как Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 1. Кватернионная нейронная сеть И другие операции с кватернионами Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 1. Кватернионная нейронная сеть Для описания алгоритма обучения многослойной нейронной сети кватернионов рассматривалась многослойная нейронная сеть кватернионов. Во входном слое кватернионной нейронной сети l-й нейронный вход xl является кватернионом: (ℎ ) В скрытом слое, связанном с входным слоем, выход из m-го нейрона блока 𝑧𝑚 1 определяется как (ℎ ) (ℎ ) где 𝑤𝑚𝑙10 - вес между l-м нейроном входного слоя и m - м нейроном скрытого слоя, 𝜑𝑚 1 является порогом m-го нейрона в скрытом слое, а f(·) является активационной функцией нейрона. В p-м скрытом слое выход n-го блока (ℎ ) нейрона 𝑧𝑚 1 n определяется как (ℎ ) (ℎ𝑝 ) где 𝑤𝑛𝑚𝑝 𝑝−1 - вес между m-м нейроном (p - 1) -го скрытого слоя и n - м нейроном p-го скрытого слоя и 𝜑𝑛 порог n-го нейрона в p-м скрытом слое. - Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 1. Кватернионная нейронная сеть (0) В выходном слое выход s-го блока нейрона 𝑧𝑠 определяется как (𝑜 ) (0) где 𝑤𝑠𝑚0𝑝 - вес между n-м нейроном p-го скрытого слоя и s-м нейроном выходного слоя, 𝜑𝑠 является порогом sго нейрона в выходе слой. Здесь веса и пороговые значения являются кватернионами, а функция активации является кватернионной функцией. Обучение кватернионной нейронной сети проводилось с целью минимизации функции затрат J: (0) где ∈s - выходная погрешность, определяемая ∈s = ds - 𝑧𝑠 P указывает индекс шаблона обучения. , ds - желаемый выход s-го нейрона в выходном слое, а Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 2. Самонастраивающийся регулятор На рис. показана схема самонастраивающегося регулятора обратной связи, где u-управляющий вход, синтезируемый обычным регулятором, параметры которого настраиваются в режиме онлайн нейронной сетью кватерниона, y - выход установки, yd -желаемый выход установки, генерируемый эталонной моделью, а r-опорный вход. Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 2. Самонастраивающийся регулятор где k - номер выборки, y(k) – выход установки, u(k) – вход установки, n и m – порядки установки, d - мертвое время установки, а 𝛼𝑢𝑖 , 𝛼𝑦𝑖 и b0 - параметры установки. Учитывая время простоя установки, многослойная кватернионная нейронная сеть самонастраивающегося ПИДрегулятора была обучена минимизации функции затрат J(k) в режиме онлайн как где η-коэффициент обучения, а функция стоимости определяется погрешностью выхода: Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 2. Самонастраивающийся регулятор Градиент функции стоимости по параметрам нейронной сети кватерниона можно рассчитать, используя правило цепи, как 𝜕𝑦(𝑘) 𝜕𝑢(𝑘) где 𝜕𝑢(𝑘−𝑑) является установкой Якобиана, 𝜕𝑔(𝑘) является регулятором Якобиана, а градиент 𝜕 𝑧 0 (𝑘) 𝜕𝜔∗ (𝑘) может быть вычислен с использованием алгоритма обратного распространения, распространенного на кватернион. Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 3. Вычислительные эксперименты адаптивного регулятора Чтобы исследовать возможность использования самонастраивающегося ПИД-регулятора с кватернионнонейронной сетью, мы выполнили вычислительные эксперименты, используя следующую SISO дискретновременную нелинейную установку с доминирующей системой второго порядка: где αadd - коэффициент паразитного члена, а cnon - коэффициент нелинейного члена. Поскольку предполагается, что установка была линейной, вторым порядком (n = 2, m = 1 и d = 1) для проектирования нейронной сети кватернионов, входной вектор кватернионной нейронной сети определялся как Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 3. Вычислительные эксперименты адаптивного регулятора На рисунке показан пример реакции на установку при управлении установкой с использованием разработанного кватернионно-нейронного автонастраиваемого ПИД-регулятора на основе сети. Здесь число кватернионных нейронов в скрытых слоях равно M1 = M2 = 4, а установка линейна; параметры завода: αy1 = 1,3, αy2 = 0,3, αadd = 0, b0 = 1, αu1 = 0,7 и cnon = 0. Экспериментальный результат управления линейной установкой с использованием разработанного кватернионно-нейронной сетью ПЗС-регулятора (сверху: выход завода, где черная линия указывает желаемый выход yd (k), а серая линия указывает на выход завода y (k); нижний: управляющий вход от ПИД-регулятора). Самонастраивающийся ПИД-регулятор с использованием кватернионной нейронной сети 3. Вычислительные эксперименты адаптивного регулятора На рисунке показан пример реакции установки для нелинейной установки (αadd = 0,03 и cnon = 0,2 ). Экспериментальный результат управления нелинейной установкой с использованием разработанного кватернионно-нейронной сети самонастраивающегося ПИДрегулятора (вверху: выход завода, где черная линия указывает желаемый выход yd (k), а серая линия указывает на установку выход y(k); bottom: управляющий вход с ПИД-регулятора). Определения и представления Один полезный способ рассмотреть случайный вектор кватерниона - видеть его как реальный значащий случайный вектор размера, в четыре раза больший. Однако также можно рассматривать его как комплексный или кватернионный вектор с более высокой размерностью. Таким образом, для кватернионного случайного вектора 𝑞 ∈ 𝐻𝑁 существует три возможных представления. А именно действительное 𝑞 ∈ 𝑅4𝑁 , комплекс 𝑞 ∈ 𝐶 4𝑁 и кватернионные 𝑞 ∈ 𝐻4𝑁 -представления. Их выражения: где † означает спряжение-транспозицию. Эти представления позволяют изучать статистические соотношения между компонентами случайного вектора кватернионов. Собственные случайные векторы Существуют два уровня собственности. 𝐶 𝜂 собственность. Случайный вектор кватерниона 𝑞 ∈ 𝐻𝑁 называется собственным, если 𝑑 означает «равенство в распределении». = Частным случаем, интересным для нас, в дальнейшем будут 𝐶 1 -собственные случайные векторы, для которых 𝑑 𝑞 𝑒 𝑖𝜃 𝑞. Как следствие, ковариационная матрица 𝐶 1 -правильные случайные векторы коммутируют с 𝑖: 𝛬𝑞 𝑖 = = 𝑖𝛬𝑞 . Случайный вектор кватернионов является 𝐶 1 -правильным, если : для одного и только одного чистого единичного кватерниона 𝜂, а где Собственные случайные векторы Существуют два уровня собственности. Н-собственность. Случайный вектор кватерниона 𝑞 ∈ 𝐻𝑁 называется H-собственным, если: для любого чистого единичного кватерниона 𝜂. Еще раз, учитывая классический базис для кватернионов (т.е.{1, 𝑖, 𝑗, 𝑘}) Другое эквивалентное определение для Н-собственности: Собственные случайные величины и поляризованные сигналы Рассмотрим теперь поляризованные случайные сигналы с возможно известными параметрами поляризации 𝜌 и f. Рассмотрим выход двухкомпонентного вектор-датчика. Такой датчик выдает два дискретных сигнала 𝑠1 (n) и n) (с 𝑛 = 1, . . . , 𝑁), которые исходят из вибраций в двух ортогональных направлениях 3D-пространства. Вывод может быть расположен в векторах 𝑠1,2 = [𝑠1,2 (1)𝑠1,2 (2). . . 𝑠1,2 (𝑁)] 𝑇 . Таким образом, вся 2D-запись, записанная на датчике, может быть записана в вектор 𝑞, такой как: где 𝑧1 и 𝑧2 - аналитические сигналы 𝑠1 и 𝑠2 Здесь 𝑠1 и 𝑠2 считаются 𝑖. 𝑖. 𝑑. и гауссовских случайных процессов. Реальная и мнимая части 𝑧1 и 𝑧2 имеют нулевую среднюю и ту же дисперсию 𝜎 2 . Хорошо известно, что аналитический сигнал является правильным (в сложном смысле) [6], который включает в себя, что 𝐶𝑧1 = 𝐶𝑧2 = 0. Следовательно, в качестве дисперсии 𝑧1 и 𝑧2 равна 2𝜎 2 (вещественная и мнимая части, имеющие одну и ту же дисперсию и декоррелированные). Теперь, считая, что записанный сигнал поляризован, существует фазовый сдвиг и отношение амплитуд (обе поместимые константы вдоль индекса времени здесь): где 𝜌 и f - параметры поляризации Собственные случайные величины и поляризованные сигналы С учетом вышеприведенных предположений легко проверить, что ковариационная матрица случайного вектора q, взятого из образцов поляризованных сигналов, имеет следующую структуру (комплексное обозначение): Таким образом, предлагаемое моделирование позволяет рассматривать поляризованный случайный сигнал (с детерминированным параметром поляризации 𝜌 и f) как 𝐶1 -собственный кватернионный случайный вектор. Теперь рассмотрим случай, когда записанный сигнал не поляризован. Тогда 𝑧1 и 𝑧2 некоррелированы, поэтому сигнал можно. НЕЙРОННАЯ АРХИТЕКТУРА Нейронная сеть с кватернионом остается естественной в наших рамках. Поэтому преимущества нашей предлагаемой модели должны приводить к превышению таких сетей по сравнению с реальными сетями, например, в задаче разделения сигналов. Многослойные перцептроны (MLP) Атомами нейронных сетей являются простые вычислительные единицы, которые вычисляют из входных данных x выход по 𝑦 = 𝑔(𝑓(𝑤, 𝑥)). Таким образом, 𝑓 является так называемой функцией распространения и 𝑔 - так называемая активационная функция. Вес 𝑤 - свободные параметры, которые регулируются путем обучения. Для нелинейного 𝑔 группирование нейронов вместе в слоях Ʃ𝑖 𝑔(𝑤𝑖𝑗 𝑥𝑗 + 𝜃𝑗 ) по принципу «вперед-назад» и полностью связанное приводит к известному многослойному перцептрону (MLP). МЛП обучаются контролируемым обучением, т. Е. На примерах с целевыми результатами. Адаптационные веса затем выполняются путем минимизации функции ошибки, например SSE, с помощью градиентного спуска (обратное распространение [10]). Кватернионный MLP (H-MLP) получается одним, просто используя кватернионные сущности вместо реальных. В качестве функции активации 𝜎(𝑞)𝐻 = 𝜎 𝑞0 + 𝜎 𝑞1 𝑖 + 𝜎 𝑞2 𝑗 + 𝜎(𝑞3 )𝑘 используется [9].Разделение двух поляризованных сигналов является задачей классификации. В этом случае H-MLP с одним скрытым слоем двух нейронов является наименьшей значимой квадратичной архитектурой. Мы увидим, что эта минимальная кватернионная сеть также уже достаточна. Это является прямым следствием инвариантности распределений в (12) и (15) соответственно. НЕЙРОННАЯ АРХИТЕКТУРА Изоморфные метки классов Для стандартного MLP ни порядок компонентов входного вектора, ни порядок компонентов выходного вектора не имеют семантического значения. Перестановки не имеют никакого эффекта. Напротив, кватернионы - это кортежи. Кроме того, оптимальное разделение поляризованных сигналов на H-MLP основано на сохранении структурной информации, которая требует кортежей данных заранее. В формальном понятии и в более широком контексте это обсуждается для более широкого класса сетей со значениями в алгебрах Клиффорда в [11]. Здесь есть четыре возможности для маркировки класса «1»: Последние три, называемые мнимыми метками, изоморфны. Пусть 𝑥 = 𝑥0 + 𝑥1 𝑖 + 𝑥2 𝑗 + 𝑥3 𝑘 фиксировано. Кроме того, пусть 𝑟0 + 𝑟1 𝑖 + 𝑟2 𝑗 + 𝑟3 𝑘 = (𝑎 + 𝑏𝑖 + 𝑐𝑗 + 𝑑𝑘)𝑥. Тогда дает Следовательно, применение соответствующего изоморфизма к каждому сетевому параметру позволяет построить эквивалентную сеть с другой меткой мнимого класса, чем исходная. МОДЕЛИРОВАНИЕ Моделирование было выполнено для синтетических данных, полученных из трех четырехмерных распределений, перечисленных в таблице 1. Из каждого из них 1000 точек были отбракованы. В каждом случае первые 200 выборочных точек были использованы для обучения, а остальные 800 баллов для тестирования. Заметим, что D3 является H-надлежащим, и оба D1 и D2 являются 𝐶 𝑖 -соответствующими соответственно (по каноническому идентификатору n{a ⇔ 1, b ⇔ i, c ⇔ j, d ⇔ k}. 𝐶 𝜂 -proper data для 𝜂∈{j, k} была получена из D1, D2 простой подстановкой компонентов. Распределения, из которых были созданы данные для моделирования. N(0, 1) обозначает одномерное нормальное распределение со средним 0 и дисперсией 1 МОДЕЛИРОВАНИЕ Собственное 𝐶 𝐽 vs H-собственное разделение с использованием D2 и CL4 (24) для 𝐶 𝐽 -надлежащего класса. Гистограммы выхода первого скрытого нейрона. В левом столбце отображается ответ для данных, соответствующих H. В правой колонке показан ответ для правильных данных 𝐶 𝐽 . Каждая строка показывает один компонент вывода. 𝐶 𝐽 -собственное vs H-собственное разделение с использованием D2 и CL4 (24) для 𝐶 𝐽 -собственного класса. Гистограммы выхода второго скрытого нейрона. МОДЕЛИРОВАНИЕ 𝐶 𝑖 - собственное vs H-собственное разделение с использованием D2 и СL1 (24) для 𝐶 𝑖 -класса. Гистограммы выхода первого скрытого нейрона. Выполнил: Раздельщиков К.С. Группа: КП-501 Факультет: МТ