1) Избыточность и сжатие. Расширения кода. Энтропия. Теорема кодирования для каналов связи без шума. Избыточность (E)- это мера бесполезно совершаемых альтернативных выборов. Разность L - Н называют избыточностью кода. Сжатие – процесс перекодирования данных с целью уменьшения их объема. Расширение кода – кодирование комбинации символов (блока), а не каждого символа в отдельности. Расширения кода - блоки из n символов. При N-кратном расширении алфавита источника из символов si с заданными вероятностями pi, каждый блок из n первоначальных символов становится одним символом t i с вероятностью Qi . Все вместе они образуют алфавит Sn=T. Энтропия (Н) – мера неопределенности случайного объекта с конечным множеством состояний Ai , с соответствующими им вероятностями pi. Величину Н называют средним количеством информации на знак, информацией на знак или энтропией источника сообщений 1 𝐻 = ∑ 𝑝𝑖 ∙ log( 𝑝𝑖 Теорема Шеннона о кодировании без шума: для n-кратного расширения достаточно высокой кратности средняя длина кодового слова L может быть сколь угодно близкой к энтропии источника. 2) Измерение количества информации. Вероятностный, комбинаторный и алгоритмический подходы к измерению количества информации. Подход к информации как к мере уменьшения неопределённости знания позволяет количественно измерять информацию. За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределённость знания в 2 раза. Такая единица названа бит. Комбинаторное определение количества информации, исторически появившееся первым, характеризуется использованием математических функций, оперирующих с конечными множествами элементов, образующих какое-либо сообщение или систему. Вероятностный подход к измерению информации основан на вероятностных допущениях относительно пребывания какой-либо системы в различных состояниях. При этом общее число элементов (микросостояний, событий) системы не учитывается. Алгоритмический подход. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой. 3) Методы обнаружения и коррекции ошибок в дискретных кодах. Корректирующие коды. Расстояние Хэмминга и его соотношение с корректирующей способностью кода. Аналоговый, дискретный, квантованный и цифровой сигналы. Обнаружение ошибок в технике связи — действие, направленное на контроль целостности данных при записи/воспроизведении информации или при её передаче по линиям связи. Исправление ошибок (коррекция ошибок) — процедура восстановления информации после чтения её из устройства хранения или канала связи. В системах связи возможны несколько стратегий борьбы с ошибками: - обнаружение ошибок в блоках данных и автоматический запрос повторной передачи повреждённых блоков (применяется в основном на канальном и транспортном уровнях); - обнаружение ошибок в блоках данных и отбрасывание повреждённых блоков (применяется в системах потокового мультимедиа); - обнаружение и исправление ошибок (применяется на физическом уровне). Корректирующие коды — коды, служащие для обнаружения или исправления ошибок, возникающих при передаче информации под влиянием помех, а также при её хранении. Для этого при записи (передаче) в полезные данные добавляют специальным образом структурированную избыточную информацию (контрольное число), а при чтении (приёме) её используют для того, чтобы обнаружить или исправить ошибки. Естественно, что число ошибок, которое можно исправить, ограничено и зависит от конкретного применяемого кода. Коды обнаружения ошибок могут только установить факт наличия ошибки в переданных данных, но не исправить её. Используемые коды обнаружения ошибок принадлежат к тем же классам кодов, что и коды, исправляющие ошибки. Фактически, любой код, исправляющий ошибки, может быть также использован для обнаружения ошибок (при этом он будет способен обнаружить большее число ошибок, чем был способен исправить). По способу работы с данными коды, исправляющие ошибки, делятся на: - блоковые коды, делящие информацию на фрагменты постоянной длины и обрабатывающие каждый из них в отдельности; - свёрточные коды, работающие с данными как с непрерывным потоком. Минимальное расстояние Хемминга является важной характеристикой линейного блокового кода. Она показывает насколько "далеко" расположены коды друг от друга. Она определяет другую, не менее важную характеристику - корректирующую способность: 2t < dmin Корректирующая способность определяет, сколько ошибок передачи кода можно гарантированно исправить. Под аналоговым сигналом понимают сигнал, непрерывный во времени и принимающий значение из какого-то промежутка значений. Дискретный сигнал представляется в виде последовательности значений, взятых в дискретные моменты времени. В квантовом сигнале область значений сигнала разбивается на уровни, количество которых должно быть представлено в числах заданной разрядности. Под цифровым сигналом понимается сигнал, полученный из аналогового путем квантования по амплитуде и дискретизации по времени. Детерминированными сигналами называются сигналы, значения которых в любые моменты времени являются известными величинами или могут быть заранее вычислены. Случайным сигналом является такой, значения параметров которого случайны и заранее не известны и могут быть определены с некоторой степенью вероятности. 4) Этапы аналого-цифрового преобразования. Преобразование аналогового сигнала в цифровой состоит из двух этапов: - дискретизация по времени означает, что сигнал представляется рядом своих отсчетов, взятых через равные промежутки времени, отделенные друг от друга интервалом, который называется интервалом дискретизации. - квантование по амплитуде (Квантование представляет собой замену величины отсчета сигнала ближайшим значением из набора фиксированных величин - уровней квантования). В информатике под квантованием непрерывной или дискретной величины понимают разбиение диапазона её значений на конечное число интервалов. На первом этапе идет дискретизация входного непрерывного сигнала S(t) во времени обычно с постоянным шагом, т.е. через равные интервалы времени. Формируется последовательность S(n), в которой отсчеты представлены с неограниченной точностью. На втором этапе происходит квантование величины сигнала по уровню для этих дискретных моментов времени. Значение каждого отсчета S(n) представляется числом, состоящим из конечного числа двоичных разрядов. В результате получается новая последовательность Skv(n). 5) Частотное и временное представление сигналов их смысл и применение. Понятие спектра сигнала. Спектральная (частотная) форма представления сигналов использует разложение сигнальных функций на гармонические составляющие. Это представление параметров сигнала в виде двух графиков: графика спектра амплитуд и графика спектра фаз. Временная форма представления сигнала – это описание изменения его параметров в функции времени. Такая форма описания позволяет определить энергию, мощность и длительность сигнала. Спектр сигнала – частотный состав сигнала. 6) Теорема отсчетов Котельникова-Найквиста. Ее практическое значение для цифро-аналоговых преобразований. Теорема Котельникова-Найквиста гласит, что, если аналоговый сигнал x(t) имеет ограниченный спектр, то он может быть восстановлен однозначно и без потерь по своим дискретным отсчётам, взятым с частотой не менее удвоенной максимальной частоты спектра Fmax: fдискр>=2*Fmax. Т.е. для дискретизации аналогового сигнала без потери информации частота отсчётов должна быть как минимум в два раза выше верхней граничной частоты спектра сигнала. 7) Интервал дискретизации и шаг квантования. На что влияет их выбор? Интервал дискретизации – временной промежуток между отсчетами. Величину, обратную интервалу между отсчетами, называют частотой дискретизации. Частота дискретизации - частота взятия отсчетов непрерывного во времени сигнала при его дискретизации (измеряется в Герцах). Очевидно, что чем меньше интервал дискретизации и, соответственно, выше частота дискретизации, тем меньше различия между исходным сигналом и его дискретизированной копией. Чем выше частота дискретизации, тем более широкий спектр сигнала может быть представлен в дискретном сигнале. Уровни квантования делят весь диапазон возможного изменения значений сигнала на конечное число интервалов - шагов квантования. Искажения сигнала, возникающие в процессе квантования, называют шумом квантования. Шум квантования убывает с увеличением числа уровней квантования. 8) ИКМ, ДИКМ, АДИКМ, дельта-модуляция. Импульсно-кодовая модуляция (ИКМ) используется для оцифровки аналоговых сигналов. Практически все виды аналоговых данных допускают применение ИКМ. Импульсно-кодовая модуляция позволяет представить непрерывный аналоговый сигнал в форме последовательности равноотстоящих друг от друга импульсов (дискретизация по времени), амплитуда которых представлена двоичным кодом (квантование по уровню). Подобное преобразование позволяет существенно повысить надежность передачи и хранения сигнала. При дифференциальной ИКМ (ДИКМ) кодируется только разность между предсказанным значением (на основе предшествующих отсчетов) и фактически измеренным значением отсчета аналогового сигнала. Адаптивная ДИКМ (АДИКМ) является разновидностью ДИКМ, которая изменяет уровень шага квантования, что позволяет еще больше уменьшить требования к полосе пропускания при заданном соотношении сигнала и шума. В случае использования адаптивной ДИКМ шаг квантования выбирается адаптивно, в зависимости от скорости изменения формы сигнала. При дельта-модуляции в цифровом виде представляется разность величин последовательных отсчетов сигнала. Основным достоинством данного формата является простота конструкции устройств реализующих данное преобразование 9) Пропускная способность канала и ее измерение. Теорема Шеннона для канала связи с шумом. Поток информации с=2*fm*H где f частота а H энтропия. Максимальный поток информации по передающему каналу или пропускная способность канала 𝑁 𝐶𝑚𝑎𝑥 = 2 ∙ 𝑓𝑚 ∙ 𝐻𝑚𝑎𝑥 = log 2 (1 + 𝑁 𝑠 ) 𝑅 Полосой пропускания (пропускной способностью) оценивается количество информации, которое может быть передано по каналу. Ширина полосы пропускания измеряется в битах в секунду (бит/с) - для цифровых сигналов или в герцах (Гц) - для аналоговых сигналов, например, звуковых волн. Ширина полосы пропускания для аналоговой системы равна разности вычитания наинизшей передаваемой частоты из наивысшей. Теорема Шеннона для канала связи с шумом: для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью верности, если только скорость передачи сообщения не превышает пропускную способность канала.