Билет 1
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 0
1
2
3
P 1/5 1/5 3/10 3/10
Y
1
2
P 1/5 4/5
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.5, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ не был отправлен на печать? Какова неопределенность того, отправил или нет пользователь документ на печать, если известно, что принтер напечатал другой документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCCBAAABCA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
BBCAA.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «дружная дружина». (Словарь — ASCII+ и 12 фраз.)
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 5) (т.е. остаток от деления X + Z на 5).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 0 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 110101, 101110, 110101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1010, 1111, 0101. Декодируйте
следующие принятые сообщения: 1010000, 0110110, 1011101.
1
Билет 2
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y −1 1
P 1/6 5/6
Пусть Z = X 2 − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.5. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.1 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCBCAAAABC.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
BCAAB.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «остановите у остановки».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 1 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 110111, 010110, 101101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0100, 0101, 1001. Декодируйте
следующие принятые сообщения: 1000010, 1101000, 1000011.
2
Билет 3
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −1 0
1
2
P 1/8 3/8 3/8 1/8
Y
2
4
P 3/8 5/8
Пусть Z = X 2 − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.4, а второй — с вероятностью 0.6. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.2, занимает второе место с вероятностью 0.3, третье — 0.2 и проигрывает с вероятностью 0.3. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.5, второе место —
0.2, третье — 0.1 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял третье место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BCABCAAACB.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 сообщение BCABCAAACB, если P(A) = 3/7, P(B) = 2/7, P(C) = 3/7.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «темная темнота».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 7) (т.е. остаток от деления X + Z на 7).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 0 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010001, 000100, 010001.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0000, 1001, 1000. Декодируйте
следующие принятые сообщения: 1000000, 1100000, 1011100.
3
Билет 4
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −1 0
1
2
P 1/5 1/5 3/10 3/10
Y −1 1
P 1/5 4/5
Пусть Z = X − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.4, а второй — с вероятностью 0.6. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.2, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.3. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.2, третье — 0.2 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом AABBCCCBCA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение AABBCCCBCA, если P(A) = 2/7, P(B) = 1/7, P(C) =
4/7.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «зеленая зелень».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 8) (т.е. остаток от деления X + Z на 8).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 0
1 0 0 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 111101, 000111, 011111.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0110, 0111, 1111. Декодируйте
следующие принятые сообщения: 1011100, 1101111, 1010100.
4
Билет 5
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/8 3/8 3/8 1/8
Y
2
4
P 3/8 5/8
Пусть Z = X 2 − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.7, а второй — с вероятностью 0.3. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.1 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял третье место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BCABCAAACB.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 сообщение BCABCAAACB, если P(A) = 3/7, P(B) = 2/7, P(C) = 3/7.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «зеленая зелень».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 8) (т.е. остаток от деления X + Z на 8).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
0 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 1 0
1 0 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 011100, 010110, 111111.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1110, 0111, 0101. Декодируйте
следующие принятые сообщения: 1001111, 1111110, 0110011.
5
Билет 6
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 1
2
3
4
P 1/5 1/5 3/10 3/10
Y −1 −2
P 1/5 4/5
Пусть Z = X − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.3, а второй — с вероятностью 0.7. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.2 и проигрывает с вероятностью 0.1. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом ABCCBAABCA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение ABCCBAABCA, если P(A) = 1/2, P(B) = 1/4, P(C) =
1/4.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «разные разности».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7, 8}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 9) (т.е. остаток от деления X + Z на 9).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 1
0 1 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 011101, 001000, 010110.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0100, 1100, 1001. Декодируйте
следующие принятые сообщения: 1001100, 1100110, 1011100.
6
Билет 7
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/8 3/8 3/8 1/8
Y
2
4
P 3/8 5/8
Пусть Z = X 2 − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.7, а второй — с вероятностью 0.3. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.1 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял третье место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BABACBCCAA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 сообщение BABACBCCAA, если P(A) = 2/5, P(B) = 1/5, P(C) = 2/5.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «красивая красота».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 0 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 101101, 1111110, 100101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1100, 0001, 0011. Декодируйте
следующие принятые сообщения: 1001011, 1011110, 1010001.
7
Билет 8
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 1
2
3
4
P 1/5 1/5 3/10 3/10
Y −1 −2
P 1/5 4/5
Пусть Z = X − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.3, а второй — с вероятностью 0.7. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.2 и проигрывает с вероятностью 0.1. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом ABCBACCBBA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение
ABCBACCBBA, если P(A) = 1/6, P(B) = 1/2, P(C) = 1/3.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь - 16 фраз) фразу «полный половник ».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 5) (т.е. остаток от деления X + Z на 5).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 1
1 0 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010001, 001110, 011001.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1010, 1011, 1111. Декодируйте
следующие принятые сообщения: 1101111, 0010110, 0011101.
8
Билет 9
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 1
2
3
4
P 1/5 1/5 3/10 3/10
Y −1 −2
P 1/5 4/5
Пусть Z = X − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.3, а второй — с вероятностью 0.7. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.2 и проигрывает с вероятностью 0.1. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом AABBCCCBCA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение AABBCCCBCA, если P(A) = 2/7, P(B) = 1/7, P(C) =
4/7.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «темная темнота».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 7) (т.е. остаток от деления X + Z на 7).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 1
1 0 1 0 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010101, 000110, 011101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0010, 1100, 1001. Декодируйте
следующие принятые сообщения: 1001100, 1000110, 1010001.
9
Билет 10
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −1 0
1
2
P 1/8 3/8 3/8 1/8
Y
2
4
P 3/8 5/8
Пусть Z = X 2 − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.4, а второй — с вероятностью 0.6. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.2, занимает второе место с вероятностью 0.3, третье — 0.2 и проигрывает с вероятностью 0.3. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.5, второе место —
0.2, третье — 0.1 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял третье место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BCCBAAABCA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 сообщение BCCBAAABCA, если P(A) = 1/5, P(B) = 1/5, P(C) = 3/5.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «полный половник ».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 5) (т.е. остаток от деления X + Z на 5).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 1 1 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010000, 111111, 011000.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1110, 1110, 1101. Декодируйте
следующие принятые сообщения: 1001001, 1101111, 1011010.
10
Билет 11
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y −1 1
P 1/6 5/6
Пусть Z = X 2 − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.5. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.1 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
AABBCCCBCA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCAA.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз)8 фразу «масло масленое».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 8) (т.е. остаток от деления X + Z на 8).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 0 0
1 1 1 1 .
1 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 110111, 000111, 111111.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1110, 1001, 1101. Декодируйте
следующие принятые сообщения: 0101101, 0000110, 1101111.
11
Билет 12
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1
0
1
P 1/5 1/5 3/10 3/10
Y
0
1
P 1/5 4/5
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.4, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.3. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ и ничего не делает с равными вероятностями. Чему равна неопределенность того, что принтер напечатает то, что требует
от него пользователь, если известно, был или нет отправлен на печать документ?
Чему равна неопределенность деятельности принтера, если известно, что документ
не был отправлен на печать? Какова неопределенность того, отправил или нет
пользователь документ на печать, если известно, что принтер напечатал другой
документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BABACBCCAA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
BACBB.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «остановите у остановки».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 1 0
1 0 1 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 101010, 100111, 111101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0011, 1000, 1011. Декодируйте
следующие принятые сообщения: 1010000, 0010110, 1011000.
12
Билет 13
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 0
1
2
3
P 1/5 1/5 3/10 3/10
Y
1
2
P 1/5 4/5
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.5, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ не был отправлен на печать? Какова неопределенность того, отправил или нет пользователь документ на печать, если известно, что принтер напечатал другой документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BBCAABCCAB.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
CCABB.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «разные разности».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7, 8}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 9) (т.е. остаток от деления X + Z на 9).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
0 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010111, 100110, 010101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0110, 1110, 0101. Декодируйте
следующие принятые сообщения: 1011100, 1100110, 1011011.
13
Билет 14
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y
1
2
P 1/6 5/6
Пусть Z = X 2 + Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.6. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.2 и игнорируется
принтером с вероятностью 0.1. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.3 и ничего не делает с
вероятностью 0.7. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
AABBCCCBCA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCAC.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «масло масленое».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 7) (т.е. остаток от деления X + Z на 7).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
0 1 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 001101, 000110, 011000.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0010, 1001, 1001. Декодируйте
следующие принятые сообщения: 0000100, 01100000, 1010000.
14
Билет 15
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1
0
1
P 1/5 1/5 3/10 3/10
Y
0
1
P 1/5 4/5
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.4, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.3. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ и ничего не делает с равными вероятностями. Чему равна неопределенность того, что принтер напечатает то, что требует
от него пользователь, если известно, был или нет отправлен на печать документ?
Чему равна неопределенность деятельности принтера, если известно, что документ
не был отправлен на печать? Какова неопределенность того, отправил или нет
пользователь документ на печать, если известно, что принтер напечатал другой
документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCABCAAACB.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABBCA.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «масло масленое».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 8) (т.е. остаток от деления X + Z на 8).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 1
1 1
данного группового кода, определяемого
1 1 0 1
1 0 1 1 .
0 0 0 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010111, 110110, 101110.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1011, 1001, 1101. Декодируйте
следующие принятые сообщения: 1101100, 1100000, 1111001.
15
Билет 16
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y
1
2
P 1/6 5/6
Пусть Z = X 2 + Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.6. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.2 и игнорируется
принтером с вероятностью 0.1. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.3 и ничего не делает с
вероятностью 0.7. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
ABCBACCBBA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCAA.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «дружная дружина». (Словарь — 12 фраз.)
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 5) (т.е. остаток от деления X + Z на 5).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010101, 000110, 011101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0010, 1111, 1101. Декодируйте
следующие принятые сообщения: 1001100, 1100110, 1011111.
16
Билет 17
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −1 0
1
2
P 1/8 3/8 3/8 1/8
Y
2
4
P 3/8 5/8
Пусть Z = X 2 − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.4, а второй — с вероятностью 0.6. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.2, занимает второе место с вероятностью 0.3, третье — 0.2 и проигрывает с вероятностью 0.3. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.5, второе место —
0.2, третье — 0.1 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял третье место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BBCAABCCAB.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 сообщение BBCAABCCAB, если P(A) = 1/8, P(B) = 1/2, P(C) = 3/8.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «странные странности».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7, 8}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 9) (т.е. остаток от деления X + Z на 9).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 1
1 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 0 0 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 011101, 010110, 111101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0010, 1001, 0001. Декодируйте
следующие принятые сообщения: 1000000, 0000110, 1010011.
17
Билет 18
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 0
1
2
3
P 1/5 1/5 3/10 3/10
Y
1
2
P 1/5 4/5
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.5, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ не был отправлен на печать? Какова неопределенность того, отправил или нет пользователь документ на печать, если известно, что принтер напечатал другой документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCABCAAACB.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABBCC.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «масло масленое».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 7) (т.е. остаток от деления X + Z на 7).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 0 0
1 1 1 1 .
1 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010001, 000000, 000001.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0011, 0000, 0001. Декодируйте
следующие принятые сообщения: 1010000, 0010110, 1010001.
18
Билет 19
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −1 0
1
2
P 1/5 1/5 3/10 3/10
Y −1 1
P 1/5 4/5
Пусть Z = X − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.4, а второй — с вероятностью 0.6. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.2, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.3. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.2, третье — 0.2 и проигрывает с вероятностью 0.2. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом BCBCAAAABC.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение BCBCAAAABC, если P(A) = 1/6, P(B) = 1/2, P(C) =
1/3.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «красивая красота».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 1 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010101, 000110, 011101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0101, 1000, 1010. Декодируйте
следующие принятые сообщения: 1000011, 1101001, 1100111.
19
Билет 20
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y
1
2
P 1/6 5/6
Пусть Z = X 2 + Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.6. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.2 и игнорируется
принтером с вероятностью 0.1. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.3 и ничего не делает с
вероятностью 0.7. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
ABCCBAABCA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCCB.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «странные странности».
6. По каналу связи отсылается сообщение, состоящее из символов
X = {0, 1, 2, 3, 4, 5, 6, 7, 8}. В результате передачи может произойти ошибка, задаваемая случайной величиной Z = {−1, 0, 1} (все ошибки равновероятны), а в после
прохождения канала связи доходит сообщение Y = X + Z (mod 9) (т.е. остаток от
деления X + Z на 9). Найдите пропускную способность этого канала связи. При
каком распределении вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 0 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010111, 110110, 010101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1010, 1001, 1101. Декодируйте
следующие принятые сообщения: 1001100, 1010110, 1011001.
20
Билет 21
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/4 1/4 1/4 1/4
Y
1
2
P 1/6 5/6
Пусть Z = X 2 + Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.5. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.2 и игнорируется
принтером с вероятностью 0.1. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.3 и ничего не делает с
вероятностью 0.7. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
ABCCBAABCB.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCBB.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «тихая тишина».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3}. В
результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 4) (т.е. остаток от деления X + Z на 4).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 1
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 1
1 0 0 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 110111, 110110, 011101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1011, 1001, 1101. Декодируйте
следующие принятые сообщения: 1011100, 1010110, 1011011.
21
Билет 22
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/7 1/7 3/7 2/7
Y −1 1
P 1/6 5/6
Пусть Z = X 2 − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.5. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.1 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCBCAAAABC.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
BCAAB.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «жестокая жестокость».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 1 0
1 1
данного группового кода, определяемого
1 1 0 0
1 0 1 1 .
0 1 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 100111, 010110, 001111.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0100, 0101, 1001. Декодируйте
следующие принятые сообщения: 1000011, 1101000, 1000011.
22
Билет 23
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 1
2
3
4
P 1/5 1/5 3/10 3/10
Y −1 −2
P 1/7 6/7
Пусть Z = X − Y . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. В соревновании участвуют два спортсмена. Известно, что первый выходит в финал
с вероятностью 0.3, а второй — с вероятностью 0.7. Если первый спортсмен выходит
в финал, то он выигрывает с вероятностью 0.1, занимает второе место с вероятностью 0.2, третье — 0.3 и проигрывает с вероятностью 0.4. Если второй спортсмен
выходит в финал, то вероятность, что он выигрывает равна 0.4, второе место —
0.3, третье — 0.2 и проигрывает с вероятностью 0.1. Чему равна неопределенность
выбора спортсмена, если известно, что он занял второе место? выиграл соревнование? Какова неопределенность исхода финальных соревнований, если в финал
вышел любой спортсмен?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена с упорядоченным деревом ABCCBAABCA.
4. Закодируйте с помощью арифметического блочного кодирования для блоков длины
2 следующее сообщение ABCCBAABCA, если P(A) = 1/2, P(B) = 1/4, P(C) =
1/4.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз) фразу «круглый круг».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7, 8}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−2, 0, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 9) (т.е. остаток от деления X + Z на 9).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
1 0
G=
1 1
данного группового кода, определяемого
1 1 0 1
0 1 1 1 .
0 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 011101, 001000, 011110.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0100, 1100, 1101. Декодируйте
следующие принятые сообщения: 1101100, 1100110, 1011100.
23
Билет 24
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 1
2
P 1/6 1/6 1/3 1/3
Y −1 1
P 1/2 1/2
Пусть Z = X 2 − Y 2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.5. Отправленный документ корректно печатается принтером с вероятностью 0.7, некорректно (принтер печатает другой документ) с вероятностью 0.1 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ был отправлен на печать? Какова неопределенность того, отправил
или нет пользователь документ на печать, если известно, что принтер ничего не
напечатал?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
AABBCCCBCA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABCAA.
5. Закодируйте по алгоритму LZ77 (буфер — 4 байта, словарь — 12 байт.) и LZ78
(словарь — 16 фраз)8 фразу «правильная правда».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6, 7}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {−1, 0, 1} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 8) (т.е. остаток от деления X + Z на 8).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 0 0
1 1 1 1 .
1 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 110101, 000111, 111111.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 1110, 1001, 1101. Декодируйте
следующие принятые сообщения: 0101100, 0000110, 1101111.
24
Билет 25
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X −2 −1 0
1
P 1/7 1/7 2/7 3/7
Y
0
1
P 1/4 3/4
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.4, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.3. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ и ничего не делает с равными вероятностями. Чему равна неопределенность того, что принтер напечатает то, что требует
от него пользователь, если известно, был или нет отправлен на печать документ?
Чему равна неопределенность деятельности принтера, если известно, что документ
не был отправлен на печать? Какова неопределенность того, отправил или нет
пользователь документ на печать, если известно, что принтер напечатал другой
документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BABACBCCAA.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
BACBB.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «зеленая зелень».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 2, 4} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 6) (т.е. остаток от деления X + Z на 6).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 1 0
1 0 1 1 .
0 0 1 1
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 101010, 100111, 111101.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0011, 1000, 1011. Декодируйте
следующие принятые сообщения: 1010000, 0010110, 1011000.
25
Билет 26
1. Независимые случайные величины X и Y , задаются следующими распределениями:
X 0
1
2
3
P 1/5 1/5 3/10 3/10
Y
1
2
P 3/8 5/8
Пусть Z = (X − Y )2 . Вычислите энтропии случайных величин X, Y, Z, условные
энтропии H(X|Z), H(Y |Z) и H(Z|X), совместную энтропию H(X, Z), а также
взаимную информацию I(Y, Z).
2. Пользователь отправляет документ на печать принтера с вероятностью 0.8. Отправленный документ корректно печатается принтером с вероятностью 0.5, некорректно (принтер печатает другой документ) с вероятностью 0.3 и игнорируется
принтером с вероятностью 0.2. Если на печать ничего не было отправлено, то
принтер печатает какой-нибудь документ с вероятность 0.4 и ничего не делает с
вероятностью 0.6. Чему равна неопределенность того, что принтер напечатает то,
что требует от него пользователь, если известно, был или нет отправлен на печать
документ? Чему равна неопределенность деятельности принтера, если известно,
что документ не был отправлен на печать? Какова неопределенность того, отправил или нет пользователь документ на печать, если известно, что принтер напечатал другой документ?
3. Закодируйте с помощью адаптивного алгоритма Хаффмена сообщение
BCABCAAACB.
4. Закодируйте с помощью адаптивного арифметического алгоритма сообщение
ABBCC.
5. Закодируйте по алгоритму LZSS (буфер — 4 байта, словарь — 12 байт.) и LZW
(словарь — 16 фраз) фразу «желтая желтизна».
6. По каналу связи отсылается сообщение, состоящее из символов X = {0, 1, 2, 3, 4, 5, 6}.
В результате передачи может произойти ошибка, задаваемая случайной величиной
Z = {0, 1, 2} (все ошибки равновероятны), а в после прохождения канала связи
доходит сообщение Y = X + Z (mod 7) (т.е. остаток от деления X + Z на 7).
Найдите пропускную способность этого канала связи. При каком распределении
вероятностей данная пропускная способность достигается.
7. Запишите таблицу декодирования для
кодирующей матрицей
1 0
G= 0 0
1 1
данного группового кода, определяемого
1 1 0 0
1 1 1 1 .
1 0 1 0
Выясните, сколько код исправляет и обнаруживает ошибок. Найдите вероятность
правильной передачи исходного сообщения, если вероятность правильной передачи
одного бита равна p. Декодируйте следующие слова: 010001, 000000, 000001.
8. Закодируйте с помощью (4, 7)-кода Хэмминга слова 0011, 0000, 0001. Декодируйте
следующие принятые сообщения: 1010000, 0010110, 1010001.
26
