КОНЦЕПЦИЯ ЭНТРОПИИ в СИСТЕМНОМ АНАЛИЗЕ

КОНЦЕПЦИЯ ЭНТРОПИИ
В
СИСТЕМНОМ АНАЛИЗЕ
Попков Ю.С.
Институт системного анализа
Российской академии наук
МФТИ
09 апреля 2013
Энтропийная мера
1. Неопределенности S
2. Информации I =H0-H
ШКОЛА
?
H  H 0*
HH
1
*
0
11
3. Поведенческой мотивации max H = max P
?
Риски
РАО ЕЭС 1.5%
Газпром 1.2%
Р&K 18%
Котировки
РАО ЕЭС 12%
Газпром 8%
Рога и Копыта 28%
2
ТЕОРИЯ МАКРОСИСТЕМ
3
Системные эффекты
Физическая система
Биологическая система
Звездные структуры
Транспортная система
Экономическая система
 fast   slow
4
Индивидуальные и коллективные свойства
Устойчивое
распределение
Решения
Население
Производители
Потребители
…
Устойчивое
распределение
Априорные
вероятности
Макроуровень
коллективное поведение 
максимум энтропии
Микроуровень
индивидуальное
поведение
Элементы со
стохастическим
поведением
5
Феноменология равновесных состояний макросистемы
М А К Р О С И С Т Е М А
Макроуровень
Макросостояние N  {N 1 ,, N m }
Микроуровень
ресурсы
6
Определение и классификация макросистем
Gi  емкость подмножества Si
li  емкость состояния в подмножестве Si
m  количество подмножеств
Классы элементов и подмножеств
Подмнож /
Элементы
D
I
D
DD
DI
I
ID
II
Макросостояние
DI – различимы
I - неразличимы
Классы статистик (емкость состояний li)
li=1
Ферми
li=∞
Эйнштейн
Li-любая
(элементов мало)
Больцман
1≤ li≤ ∞
Парастатистика
N  {N1 ,
, Nm}
7
Примеры функций распределения
вероятностей макросостояний
DD-парамакросистема
ID-парамакросистема
 неравные априорные вероятности
 неравные априорные вероятности
 равные априорные вероятности
 равные априорные вероятности
8
Вариационный принцип
Модели стационарных состояний макросистем
A) С полным использованием ресурсов
H ( N )  max
k (t , N )  qk , k 1, r
Б) С неполным использованием ресурсов
H ( N )  max
k (t , N )  qk , k 1, r
9
Феноменология неравновесных состояний макросистем
x(1)  {x1 (t ),..., xn (t )}  вектор
состояния блоков
U s (t )  u s ( x(t ))  универсаль ный
продукт
Y (t )  [ ysi (t ) | s, i 1, n]  потоки
универсаль ного продукта
компоненты
в блоках
между блоками
процесс
самовоспроизведение
распределение
элементы
cпецифические x(t)
неспецифические Y(t)
природа
детерминированная
стохастическая
временная шкала
медленная
быстрая
время релаксации
 slow

 fast
10
Модель неравновесных состояний макросистемы
(динамическая система с энтропийным оператором)
•
Состояния блоков
x(t )  L( x(t ), Y * (t ))
L  материальный поток;
L( x, Y )  непрерывно-дифференцируемая вектор-функция;
t  шкала "медленного" времени.
•
Локально-стационарные состояния распределения потоков универсального
продукта
xs (t )
Априорная
вероятность
универсальный продукт
H (Y * , x)  max
Емкость
asi
Gsi
Запасы
g
xi (t )
универсальный продукт
Y *  F ( x)
Y *  локально-стационарное
распределение потоков
универсального продукта
Функции
потребления
 ( x, Y )
Ресурсные ограничения
F ( x)
11
Динамическая система с
энтропийным оператором
x (t )  L( x, y* ( x)), x  R n , y*  R m
Энтропийный оператор
y* ( x)  arg max{H ( y, x) | y  F ( x), x  R n , y  Rm }  0
y
12
Задачи энтропийного программирования
 m
  xi ln
 i 1
H ( x)   m
 x ln
i
 
i 1
xi
, x  X  X   x : x  0
ai e
xi
 bi  xi  ln bi  xi , x  X  X  x : 0  x  q
ai
ai ,, an  и bi ,, bn  - параметры
Энтропийно-линейное
программирование (ЭЛП)
Энтропийно-квадратичное
программирование (ЭКП)
Tx   Vx  p
0      *
Tx  F ( x)   , Vx  P( x)  p
F k ( x )  x ' F k x, P h ( x )  x ' P h x
0      p*
F k x, P k x - симметричн ые матрицы
 
 
'
'
F k x  Ak Ak , P h  B h B h
u k  A k x, d h  B h x


Tx  u ( 2 ) u1 ,  , u l   ;
Ak x  u k  0; B h x  d h  0,


Vx  d ( 2) d 1 ,  , d r l   .


 

 
'
u ( 2) u1 ,  , u l   u k , u k , k 1, l ,



'
d ( 2 ) d 1 ,  , d r l   d h , d h , h 1, r  l .


13
Мультипликативные алгоритмы с
(p,q)-активными переменными
Активные переменные (p,q) – заданы
1. Циклический выбор активных переменных (l=10, r=15)
итерация
0
1
2
3
4
5
6
номер перемен. z
1, l
1, 2
3, 4
5, 6
7, 8
9, 10
1, 2
...
p=2
номер перемен. μ
1, r  l
1, 2
3, 4
1, 2
3, 4
1, 2
3, 4
...
q=2
2. По максимальной невязке
 k z s ,  s   1  Bk z s ,  s   h z s ,  s    s 1   h z s ,  s 
 
z ,  ,
k j ( s )  arg max  k z s ,  s ,
p 1
h ( s )  arg max  h
q 1
s
s
3. По минимальной и максимальной невязке
k max
( s)  arg max  k z s ,  s ; kimin ( s)  arg min  k z s ,  s 
j
h max
( s)  arg max  h z s ,  s ; himin ( s)  arg min  h z s ,  s 
j
Алгоритмы по
двойственным переменным
Алгоритмы по
прямым переменным
Смешанные
алгоритмы
14
МАТЕМАТИЧЕСКАЯ
ДЕМОЭКОНОМИКА
15
Население и экономика
Труд
Фонды
Товар
Система «население-экономика»
Экономика
Население
Природные
ресурсы
Потребление
товаров
Трудоспособное
население
Труд
Потребление
Экономика
Население
16
Почему энтропия?
Феноменология
Население
Экономика
Воспроизводство  Миграция
Производство  Население
Миграционное и репродуктивное
поведение человека
Экономическое поведение
производителей и потребителей
Факторы:
• экономические
• экологические
• культурологические
• религиозные
• т.п.
Факторы:
• прибыль
• риск
• транспортные издержки
• т.п.
17
Энтропийная модель
«Население»
dK n
 Gn K n   (Ynj  Y jn )  S nMC (t ) , n  1, N
dt
j
- воспроизводство
- внутренняя миграция
- внешняя миграция
Модуль «Воспроизводство»
Gn
- матрица поло-возрастной структуры рождаемости, старения и смертности
( BnW , DnM , DnW )
Внешняя миграция
SnMC - сальдо внешней миграции (экзогенная переменная)
18
Энтропийная модель
«Население»
Модуль «Внутренняя миграция»
Принципы:
локальных равновесий и максимизации энтропии
Y  arg max{H (Y , K , Z ) | Y  M ( K , Z )}
Н – энтропия распределения миграционных потоков Y
Z – воздействие метасистемы
M – допустимое множество распределений миграционных потоков
Реализация:
энтропийно-линейное программирование
N
Ynj
n, j
eanj ( K , Z )
H (Y , K , Z )   Yij ln
t
knj
 max
Y
( K , Z )Ynj  qk ( K , Z ), k 1, r
n, j
anj ( K , Z ) – априорные вероятности выбора n-мигрантом региона j
tknj ( K , Z ) – удельные расходы k-го ресурса
qk ( K , Z ) – запас k-го ресурса
19
Модель
«Экономика»
Пространственная экономика
Потребность
Предложение
Рынок
труда
Ресурсы
Производство
Выпуск
Потоки
Распределение
занятых
Рынок
товаров
20
Энтропийная модель «Рынок товаров»
Ui – выпуск в i-м регионе
Fij – поток «товаров» из i-й в j-й регион
Энтропийная модель
H ( F )   fij ln
ij
f
ij
f
ij
f ij
vij (U i ,U j )
 max
 U i , i 1, N
j
ij  T  транспортные расходы,
ij
ij  расстояние между i и j регионами
fс
ij kij
 qk (U i ,U j )  дополнительные ресурсы
ij
k 1, r
21
Модель рынка труда 1
Когорты
1924
w(c, t )  когортная структура занятости
 (c, t )  квазиэластичноть занятости
Рынок труда
w(c,t)
t
Работающие
1925
2000
c
Предложение
S(c,t)
1 dw(c, t )
w(c, t ) dt
t  T  [t0 , t1 ]
 ( c, t ) 
Потребность
RE(c,t)
 w(c, t )[1   (c, t )], c  Ct , если wˆ (c, t  1)  0,
wˆ (c, t  1)  
0, если wˆ (c, t  1)  0.
wˆ (c, t  1)
w(c, t  1) 
, c  (Ct \ t ), где
N (t  1)
wˆ (c, t  1)
N (t  1)  
B
c( Ct \ t ) 1  w (t  1)
22
Модель рынка труда 2
Квазиэластичность
 ( c , t )   ( c , t )   ( c, t )   ( c, t )
собственная
конкурентноспособность
 exp( c), c  Ct
сравнительная
конкурентноспособность
спрос-предложение

 x * (c, t ) 
  exp( | c  l |)  *

lCt \ c
 x (l , t ) 

H ( X )  max
 x (c, t )  R
E
 R E (t )  S (c, t ) 



 S (t )   S (t ) 
(t )
lCt
0  x ( c, t )  S ( c, t )
c  Ct
энтропийный оператор
23
Модель рынка труда 3
Эксперимент: 9 стран Европейского Союза 1983-1996 гг.
24
КОМПЬЮТЕРНАЯ
ТОМОГРАФИЯ
25
Энтропийное восстановление
томографических изображений
 (i, j )  функция плотности изображения
E (i, j )  функция плотности априорного изображения
Вертикальная проекция
 (i, j)  h  h  
i
i
i
i 1, n
j
Горизонтальная проекция
 (i, j )  v
j
 v j   j n
j 1, m  1
i
0   (i, j )  1, 0  E (i, j )  1
Энтропия
n,m
H F (, E )     (i, j ) ln
i , j 1
 (i, j )
 (1   (i, j )) ln(1   (i, j ))  max
E (i, j )

* ( E )  arg max( H F (, E ) |   D)  энтропийный оператор
26
Процедуры энтропийного
восстановления изображений
A) Статические процедуры
Б) Динамические процедуры
Обратная связь
Обратная связь
27
Некоторые типы обратных связей
• Обратная связь по текущему параметру
E t 1  L( E t ,  *t );  *t 1   *t 
1
 *t 1   *t 

t 1
• Обратная связь по текущим среднему и дисперсии
E t 1  L( E t ,  *t , d*t ); d*t 1  d*t 
1
d*t  ( *t 1   *t ) 2 

t 1
28
Пример энтропийного восстановления
томографических изображений
29
ЭНТРОПИЙНОЕ РОБАСТНОЕ
ОЦЕНИВАНИЕ
И
ФИЛЬТРАЦИЯ
30
Энтропийное оценивание
Линейная статическая модель данных
матрица
Параметры
Шум
Линейная рандомизированная модель данных
...
...
случайная
величина
...
...
...
интервалы
...
...
случайная
величина
...
интервалы
31
робастное энтропийное оценивание
Параметры
Задача
Шум
робастного энтропийного оценивания
при условиях
при наихудшем шуме
32
Пример
5 параметров:
шум:
1 измерение:
Исходные данные
1
2
3
4
5
1
2
4
2
1
0,1
0,2
0,3
0,2
0,1
Результаты для
0.0837
0.2211
0.3904
0.2211
0.0837
0.8369
2.2113
3.9037
2.2113
0.8369
Монте Карло 200 испытаний
33
Энтропийная робастная фильтрация
I. Непрерывный случай
Стационарные случайные процессы:
полезный;
шум;
наблюдаемый;
Линейный фильтр:
где
импульсная характеристика фильтра
Энтропийная мера близости
Условия минимума:
Линейное приближение:
34
Энтропийная робастная фильтрация
II. Дискретный робастный энтропийный фильтр
• Динамическая модель полезного сигнала
• Модель наблюдаемого сигнала
матрицы
матрицы
Рандомизированная модель
случайные величины
...
...
…
…
...
...
…
…
...
...
…
…
35
II. Дискретный робастный энтропийный фильтр
при условиях
36
ВЕРЕН ли ПРИНЦИП
МАКСИМИЗАЦИИ ЭНТРОПИИ
?
37
Стохастическая имитация модельных процессов
Метод Монте-Карло
стохастическая
стохастическая
Оператор
осреднения
микросостояние
Микродинамика
«Быстрая»
макросостояние
Макродинамика
«Медленная»
38
СПАСИБО ЗА ВНИМАНИЕ
39