Тонкий_Теория информации и кодирования

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ
РЫБИНСКАЯ ГОСУДАРСТВЕННАЯ АВИАЦИОННАЯ
ТЕХНОЛОГИЧЕСКАЯ АКАДЕМИЯ ИМЕНИ П. А. СОЛОВЬЕВА
ЗАОЧНАЯ ФОРМА ОБУЧЕНИЯ
ТЕОРИЯ ИНФОРМАЦИИ И
КОДИРОВАНИЯ
Программа учебной дисциплины
РЫБИНСК
2010
2
УДК 681.3
Тонкий Л.В. Теория информации и кодирования: Программа
учебной дисциплины/РГАТА. – Рыбинск, 2005. – 6 с. – (Заочная форма
обучения / РГАТА).
Данные методические указания предназначены для изучения
теоретического курса по дисциплине для студентов специальности 230101
«Вычислительные машины, комплексы, системы и сети».
СОСТАВИТЕЛЬ
кандидат технических наук, профессор кафедры ВС
Тонкий Л.В.
ОБСУЖДЕНО
на заседании кафедры ВС
РЕКОМЕНДОВАНО
Методическим Советом РГАТА
3
ПРЕДИСЛОВИЕ
Настоящая программа составлена в соответствии с Государственным
стандартом высшего профессионального образования и Учебным планом
подготовки специалиста по специальности 220100 «Вычислительные
машины, комплексы, системы и сети» и предназначена для студентов
заочной формы обучения по данной специальности.
Целью преподавания дисциплины является освоение способов
количественной оценки информации и методов организации кодов для
обнаружения и устранения ошибок в системах передачи информации.
Задачи изучения дисциплины сводятся к умению количественно дать
оценку информации через понятие энтропия, к применению методов
расчета скорости передачи информации для конкретных каналов связи, к
изучению специальных кодов, используемых для передачи информации.
Изучение дисциплины базируется на знаниях и практических
навыках,
полученных
студентами
при
изучении
дисциплин:
“Информатика”, “Дискретная математика”, “Теория вероятностей,
математическая статистика и случайные процессы”.
В качестве рекомендаций по изучению дисциплины можно сказать,
что для лучшего усвоения материала, студент должен помнить, что
передача информации по каналу связи всегда происходит с ошибками, для
обнаружения и исправления которых существует большое разнообразие
кодов.
В связи с тем, что в соответствии с учебным планом дисциплина не
подкреплена практическими и лабораторными занятиями, а имеет только
аудиторные занятия в виде лекций, рекомендуется обратить серьезное
внимание на самостоятельное решение задач, пользуясь рекомендованной
литературой [3.3].
ПРОГРАММА ДИСЦИПЛИНЫ
1. Введение.
Понятие информации. Понятие количества информации.
2. Передача информации по каналам связи.
2.1. Системы передачи информации.
Структура систем передачи информации. Соотношение между
сообщением и сигналом. Основные задачи передачи информации по
каналам связи.
2.2. Количественная оценка информационного содержания
сигнала.
4
2.3. Энтропия дискретного сигнала. Энтропия независимых
сигналов и совокупности независимых сигналов.
2.4. Частная и общая условная энтропия при рассмотрении канала
связи со стороны источников сообщений.
2.5. Вычисление условной энтропии по канальной матрице при
рассмотрении канала связи со стороны приемника.
2.6. Энтропия объединения и ее назначение.
2.7. Расчет основных характеристик каналов связи.
Вычисление информационных потерь при передаче сообщений по
каналам связи с помехами.
Вычисление скорости передачи информации.
Пропускная способность канала связи.
2.8. Кодирование информации
Общие понятия и определения. Цели кодирования. Избыточность
сообщений. Оптимальные коды.
2.9. Обнаружение и исправление ошибок в сообщениях. Понятие
об идее коррекции ошибок.
2.10. Использование линейных групповых кодов в обнаружении
ошибок в сообщениях.
2.11. Систематические коды на примере кода Хэмминга.
2.12. Понятие о циклических кодах. Циклические коды,
направляющие одиночную ошибку.
2.13. Современные способы сжатия информации. Способы
сжатия текстовой информации. Сжатие графической информации.
РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА
Основной список
1. Куликовский Л.Ф., Мотов В.В. Теоретические основы
информационных процессов: Учебное пособие – М.: Высшая школа, 1987.
2. Блейхут Р. Теория и практика кодов, контролирующих ошибки. –
М.: Мир, 1986 – 376 с.
3. Задачник по теории информации и кодированию: Цымбал В.П.
Издательское объединение “Вища школа”, 1976 – 270 с.
МЕТОДИЧЕСКИЕ УКАЗАНИЯ СТУДЕНТАМ ПО ИЗУЧЕНИЮ
ДИСЦИПЛИНЫ
В связи с тем, что данная дисциплина не подкреплена
лабораторными и практическими занятиями, студент должен быть готов к
5
изложению краткого наперед заданного сообщения по конкретному
вопросу в пределах лекционного курса. Зачет по дисциплине может
проводиться как в письменной форме, так и в виде устного опроса.
СПИСОК ЭКЗАМЕНАЦИОННЫХ (ЗАЧЕТНЫХ) ВОПРОСОВ
1. Этапы преобразования информации.
2. Структура системы передачи информации.
3. Основные задачи передачи информации по каналам связи.
Понятие первичного и вторичного алфавита.
4. Линия связи и канал связи. Понятие многоканальности.
5. Энтропия дискретного сигнала. Мера Хартли.
6. Энтропия при равновероятных исходах сигнала. Формула
К. Шеннона. Свойства энтропии.
7. Энтропия последовательности независимых сигналов.
8. Энтропия в условиях зависимости сигналов.
9. Описание внешних помех в канале связи с помощью
канальной матрицы.
10. Исследование канала связи со стороны передатчика.
11. Исследование канала связи со стороны приемника.
12. Энтропия объединения и ее назначение.
13. Информационные потери в канале связи. Методика их описания.
14. Вычисление информационных потерь.
15. Скорость передачи информации для различных соотношений
сигналов.
16. Пропускная способность для симметричных бинарных каналов
связи.
17. Пропускная способность для несимметричного канала связи.
18. Избыточность сообщений. Разновидности избыточности.
19. Роль избыточности в повышении помехоустойчивости.
20. Понятие оптимального кода. Блочное кодирование. Методика
Шеннона-Фано.
21. Понятие об идее коррекции ошибок. Кодовое расстояние.
22. Условие определения и исправления одиночной ошибки.
23. Обнаружение трехкратной ошибки.
24. Линейные групповые коды. Порождающая матрица.
25. Алгоритм образования проверочных символов для группового
кода.
26. Систематические коды.
6
27. Код Хэмминга.
28. Понятие о циклических кодах.
29. Методология обнаружения ошибок при циклических кодах.
30. Циклические коды, исправляющие одиночную ошибку.
31. Циклические коды, обнаруживающие трехкратные ошибки.
32. Современные методы сжатия текстовой информации.
33. Методы сжатия графической информации.