ЛЕКЦІЯ 1 ВСТУП. ЗАГАЛЬНІ ВІДОМОСТІ З ТЕОРІЇ ІНФОРМАЦІЇ І КОДУВАННЯ 1.1. ОСНОВНІ ПОНЯТТЯ І ВИЗНАЧЕННЯ ТЕОРІЇ ІНФОРМАЦІЇ І КОДУВАННЯ Теорія інформації та кодування - це наука, що вивчає кількісні закономірності, пов'язані зі зберіганням, передачею та обробкою інформації. Задачі теорії інформації: 1. Встановлення міри кількості інформації. 2. Визначення найвищої швидкості передачі інформації по каналу при заданих умовах (пропускна здатність каналу). 3. Визначення найкращих умов кодування, що забезпечують швидкість передачі близькому до пропускної здатності каналу. Під інформацією розуміються відомості про будь-яку подію або предмет, що надходять до одержувача в результаті його взаємодії з навколишнім середовищем. Інформація, подана у формалізованому вигляді і призначена для обробки обчислювальними пристроями або вже оброблена ними називається даними. Під повідомленням розуміється форма подання інформації (наприклад, текст, мова, зображення, цифрові дані і т.д.). Множина можливих повідомлень з їх імовірнісними характеристиками утворює ансамбль повідомлень. Вибір повідомлень з ансамблю здійснює джерело повідомлень. Сигналом називається фізичний процес, який однозначно відображає передане повідомлення. З інформаційної точки зору сигнали бувають детерміновані і випадкові. По виду часової функції сигнали підрозділяються на безперервні і дискретні. До безперервних (аналогових) сигналів (рис.1.1) відносяться такі, які можуть приймати в деякому інтервалі будь-які рівні. Якщо сигнал приймає тільки дискретні значення, то він називається дискретним. Якщо ці рівні можна позначити цифрами, то такий сигнал називається цифровим. Детермінованими сигналами називаються такі, зміну яких в часі можна повністю заздалегідь визначити. Якщо ж заздалегідь передбачити зміну сигналу в часі не можна, то сигнал називається випадковим. Рис. 1.1. Приклади сигналів Сигнал характеризується такими параметрами, як тривалість (Тс), ширина спектра (Fc) і динамічний діапазон (Dc). Ширина спектра характеризує швидкість зміни сигналу в інтервалі його існування. Динамічний діапазон визначається відношенням максимальної миттєвої потужності сигналу до мінімальної: P Dc 10 lg max [ дБ]. Pmin Більш загальною характеристикою сигналу є його об'єм: Vc =Tc Fc Dc. Чим більше об'єм сигналу, тим більше інформації можна передати. Процес перетворення повідомлення в сигнал в передавальному пристрої може складатися з трьох операцій: перетворення, кодування і модуляції. Ці три операції можуть бути незалежними або суміщеними. Перетворенням називається перетворення неелектричних величин, що визначають передане повідомлення, в первинний електричний сигнал. Так, в телефонії цю функцію виконує мікрофон, що перетворює звукові хвилі в електричні коливання. У більшості випадків сигнал є низькочастотним коливанням, непридатним для безпосередньої передачі. Кодування - це перетворення повідомлення в певні поєднання елементарних дискретних символів, званих кодовими комбінаціями або словами. Метою кодування, як правило, є узгодження джерела повідомлень з каналами зв'язку, що забезпечує або максимально можливу швидкість передачі інформації, або задану завадостійкість. Узгодження здійснюється з урахуванням статистичних властивостей джерела повідомлень і характеру впливу завад. Модуляцією називають зміну параметра сигналу відповідно до повідомлення, що передається. Модуляцію дискретними сигналами називають маніпуляцією. Параметрами, що підлягають модуляції, можуть бути амплітуда, частота і фаза. Можливі і комбіновані методи модуляції, при яких модулюються два або декілька параметрів сигналу. Від виду модуляції в значній мірі залежать завадостійкість і пропускна здатність системи зв'язку. Пристрій, призначений для кодування сигналу, називається кодером. Пристрій, що вирішує зворотну задачу - декодером. Сукупність кодера і декодера називають кодеком. Отриманими при кодуванні символами зазвичай здійснюють модуляцію сигналу. Пристрої, які здійснюють модуляцію і демодуляцію сигналу називають модемом. Джерело Кодер Модулятор Споживач Декодер Демодулятор Канал зв'язку Рис. 1.2. Структурная схема канала передачи дискретных сигналов Структурна схема каналу передачі дискретних сигналів зображена на рис. 1.2. Нерідко зустрічаються випадки, коли інформація може передаватись не тільки від одного кореспондента до іншого, а й у зворотньому напрямку. Якщо інформація може передаватися в одному напрямку, то такий зв'язок називається симплексним, якщо в обох напрямках - дуплексним. Сукупність модулятора, демодулятора і каналу зв'язку називають дискретним каналом. Сукупність кодека, модема і каналу зв'язку називають каналом передачі даних. При передачі дискретних повідомлень кожен елемент коду (кодовий символ) відображають відрізком сигналу тривалістю Te (рис. 1.3), який називається одиничним елементом. Для пояснения особенностей различных видов модуляции рассмотрим приведенные на рис.1.3 эпюры модулированных двоичных сигналов при передаче сообщения 101100. Для пояснення особливостей різних видів модуляції розглянемо наведені на рис.1.3 епюри модульованих двійкових сигналів при передачі повідомлення 101100. Якщо в якості переносника використовується постійний струм, то модуляція може бути здійснена зміною величини струму (рис.1.3, а) або його напрямком (рис.1.3, б) (кодово-імпульсна модуляція КІМ або ІКМ). Найбільше застосування знайшли в даний час цифрові системи зв'язку, в яких елементи сигналу представляють собою обмежені на кінцевому відрізку часу (від 0 до Te ) гармонійні коливання. Такі системи зв'язку і сигнали називаються простими. У системах передачі даних широко використовуються прості двійкові системи з амплітудною, частотною або фазовою маніпуляцією. При амплітудній маніпуляції (рис.1.3, в) передачі "1" відповідає наявність одиничного елемента змінного струму тривалістю Te , передачі "0" - пауза (КІМ-AM), тобто 1 U c1 (t ) U m cos t ; 0 U c 0 (t ) 0. При частотної маніпуляції (рис.1.3, г) передачі "1" відповідає наявність одиничного елемента змінного струму тривалістю Te з частотою 1 , передачі 0 (КІМ-ЧМ), тобто 1 U c1 (t ) U m cos 1t ; 0 U c 0 (t ) U m cos 0t. "0" - з частотою При фазової модуляції (рис.1.3, д) (КІМ-ФМ) 1 U c1 (t ) U m cos t ; 0 U c 0 (t ) U m cos t. При використанні в якості переносника періодичної послідовності імпульсів розрізняють амплітудно-імпульсну модуляцію - АІМ; широтноімпульсну модуляцію - ШІМ; фазо-імпульсну модуляцію - ФІМ; частотноімпульсну модуляцію - ЧІМ (рис.1.3, е, ж, з, і). Межі між переданими одиничними елементами (моменти зміни полярності, амплітуди, частоти або фази переносника) називаються значущими моментами. Кількість одиничних елементів, переданих за 1 с, називається швидкістю модуляції і визначається за формулою В 1 / Te . За одиницю її вимірювання прийнято Бод - швидкість, яка відповідає одному одиничному елементу в секунду. Для систем, що використовують коди за основою m 2 , швидкість передачі даних визначають за формулою В 1 . Te log 2 m0 Повідомлення 1 Переносник а) КІМ 0 1 1 0 0 t Te t б) КІМ +U t -U Переносник U (t ) в) КІМ АМ U (t ) г) КІМ ЧМ U (t ) t д) КІМ ФМ U (t ) t Переносник U (t ) t е) АІМ U (t ) t ж) ШІМ t t U (t ) t з) ФІМ U (t ) t і) ЧІМ U (t ) t Рис. 1.3 Види модуляції Крім сигналів, що несуть для одержувача інформацію, в середовищі поширення присутні сторонні електромагнітні процеси - завади. Завади можуть виникнути як в середовищі, що використовується для поширення сигналу, так звані, зовнішні заваоди, так і в електричних ланцюгах, що виконують перетворення сигналу, так звані, внутрішні завади. Вони можуть мати найрізноманітніші форми протікання в часі (гладкі, імпульсні) і, в тому числі, дуже близькі до форм корисних сигналів. Таким чином, разом з корисним сигналом в приймальнику діють завади, інтенсивність яких може виявитися порівнянною з сигналом, в результаті чого сигнали виявляються частково або повністю замаскованими. Каналом зв'язку називають сукупність лінійних, комутуючих і інших технічних засобів, що забезпечують незалежну передачу сигналів між двома абонентами по загальній лінії зв'язку. Класифікація каналів зв'язку наведена на рис. 1.4. Лінія зв'язку є фізичне середовище (пара проводів кабелю, хвилевід, область простору), в якій поширюється сигнал. Лінії зв'язку, як правило, багатоканальні. Канали зв'язку можна характеризувати, як і сигнал, такими параметрами, як час роботи каналу ( Tk ),смугою пропускання ( Fk ) і динамічним діапазоном ( Dk ). Узагальненою характеристикою каналу є його об'єм Vk Tk Fk Dk . Необхідною умовою неспотвореної передачі сигналу є Vc Vk . Як правило сигнал узгоджується з каналом по всім трьом параметрам Tc Tk ; Fc Fk ; Dc Dk . Канали зв'язку поділяються на сімплексні і дуплексні. Сімплексні канали забезпечують передачу в одному напрямку, дуплексні - в обох. 1.2. ПЕРЕТВОРЕННЯ ЦИФРОВУ ФОРМУ БЕЗПЕРЕРВНИХ СИГНАЛОВ В ДИСКРЕТИЗАЦІЯ АНАЛОГОВИХ СИГНАЛОВ Винятково важливим положенням теорії зв'язку, на якому заснована весь сучасний електричний зв'язок, є так звана теорема відліків, або теорема Котельникова. Ця теорема дозволяє встановити співвідношення між безперервними сигналами, якими є більшість реальних інформаційних сигналів - мова, музика, електричні сигнали, відповідні телевізійним зображенням, сигнали в ланцюгах різних радіотехнічних систем і т.п., і значеннями цих сигналів лише в окремі моменти часу - так званими відліками. На використанні цього зв'язку будується весь сучасний цифровий електричний зв'язок - цифрові методи передачі і зберігання звукових і телевізійних сигналів, цифрові системи телефонного і стільникового зв'язку, системи цифрового супутникового телебачення і т.д. Таким чином телекомунікаційні сигнали діляться на безперервні і дискретні. Безперервні сигнали (функції) можуть приймати будь-які, як завгодно близькі один до одного значення, в будь-які моменти часу. Прикладом безперервного сигналу є гармонійне коливання. Дискретні (цифрові) сигнали можуть приймати тільки заздалегідь відомі значення, що відрізняються одне від іншого на кінцеву величину, причому змінюватися ці значення можуть тільки в певні моменти часу. Теорема Котельникова Будь-яка безперервна функція, спектр якої не містить частот вище max , повністю визначається своїми відліками, взятими через інтервал часу 1 . t max 2 Fmax Часові діаграми безперервного сигналу s(t ) і дискретизованого sд (t ) представлені на рис. 1.4. s(t ) 0 t 2t 3t 4t t 0 t 2t 3t 4t t sд (t ) Рис. 1.4. Часові діаграми безперервного сигналу s(t ) і дискретизованого sд (t ) Важливо, що не треба передавати безперервно вихідний сигнал s(t ) , досить передавати відліки s(kt ) . Це перший крок переходу від безперервного сигналу до цифрового. З точки зору математики теорема Котельникова означає представлення сигналу у вигляді ряду: sin max (t kt ) , (1.1) s(t ) s(kt ) max (t kt ) k де s(kt ) - відліки, sin max (t kt ) - функції відліків. max (t kt ) Ряд Котельникова - це розкладання сигналу s(t ) в ряд за ортогональними функціми k (t ) sin max (t kt ) k (t ) max (t kt ) (1.2) Елементарна функція Котельникова s1 (t ) має в t=t1 значення, що дорівнює значенню першого відліку (рис.1.5 б), s 2 (t ) в t=t2 дорівнює значенню другого відліку (рис. 1.5 в) і так далі (рис. 1.5 г, д). В інші відлікові моменти часу ці функції дорівнюють нулю. Сума елементарних функцій s k (t ) дає вихідну безперервну функцію s(t ) (рис. 1.5 е). а) б) s(t ) , s(kt ) sin max (t 2t ) max (t 2t ) s1 (t ) s(t ) sin max (t 2t ) в) s2 (t ) s(2t ) max (t 2t ) г) s3 (t ) s(3t ) 10 k 1 s(2t ) sin max (t 2t ) max (t 2t ) sin max (t 3t ) max (t 3t ) д) s4 (t ) s(4t ) е) s(t ) s(kt ) s(t ) sin max (t t ) max (t t ) sin max (t 4t ) max (t 4t ) sin max (t kt ) max (t kt ) Відновлення сигналу на прийомі Рис. 1.5. Графічна ілюстрація теореми Котельникова КВАНТУВАННЯ ПОВІДОМЛЕНЬ. ПОМИЛКИ КВАНТУВАННЯ Отже показано, що передачу практично будь-яких безперервних сигналів s(t ) можна звести до передачі їх відліків, або чисел s(kt ) , які 1 слідують один за одним з інтервалом дискретності t . Тим самим 2 Fmax безперервна (нескінчена) множина можливих значень повідомлення s(t ) замінюється кінцевим числом його дискретних значень s (kt ). Однак самі ці числа мають безперервну шкалу рівнів (значень), тобто належать знову ж континуальній множині. Для абсолютно точного представлення таких чисел, наприклад, в десятковій (або двійковій) формі, необхідно теоретично нескінченне число розрядів. Разом з тим, на практиці немає необхідності в абсолютно точному поданні значень s(kt ) , як і будь-яких чисел взагалі. По-перше, самі джерела повідомлень мають обмежений динамічний діапазон і виробляють вихідні повідомлення з певним рівнем спотворень і помилок. Цей рівень може бути більшим або меншим, але абсолютної точності відтворення досягти неможливо. По-друге, передача повідомлень каналами зв'язку завжди проводиться в присутності різного роду завад. Тому, прийняте (відтворене) повідомлення (оцінка повідомлення sˆ(t ) ) завжди певною мірою відрізняється від переданого, тобто на практиці неможлива абсолютно точна передача повідомлень за наявності завад в каналі зв'язку. Нарешті, повідомлення передаються для їх сприйняття і використання одержувачем. Одержувачі ж інформації - органи чуття людини, виконавчі механізми і т.д. - також мають кінцеву роздільну здатністю, тобто не помічають незначну різницю між абсолютно точним і наближеним значеннями відтвореного повідомлення. Поріг чутливості до спотворень також може бути різним, але він завжди є. З урахуванням цих зауважень процедуру дискретизації повідомлень можна продовжити, а саме піддати відліки s(kt ) квантуванню. Процес квантування полягає в заміні безперервної множини значень відліків s(kt ) xmin , xmax дискретною множеною x1 , ..., xi , xi 1 ,...x N . Тим самим точні значення відліків s(kt ) замінюються їх приблизними (округленими до найближчого дозволеного рівня) значеннями. Інтервал між сусідніми дозволеними рівнями xi , або рівнями квантування, xi 1 xi називається кроком квантування. Розрізняють рівномірне і нерівномірне квантування. У більшості випадків застосовується і далі детально розглядається рівномірне квантування (рис. 1.6), при якому крок квантування постійний: xi 1 xi const ; проте іноді певну перевагу дає нерівномірне квантування, при якому крок квантування i різний для різних xi (рис. 1.7). Δ Δ(x) t ξ(t) t ξ(t) t t xq xq +N/ 2 +2 Δ +1 Δ(x) x -1 -2 x -N/2 Рис. 1.6. Рівномірне квантування Рис. 1.7. Нерівномірне квантування Квантування призводить до спотворення повідомлень. Якщо квантування повідомлення, отримане в результаті квантування відліку s(kt ) , позначити як xq , то xq s , де , - різниця між істинним значенням елементарного повідомлення s і квантованим повідомленням (найближчим дозволеним рівнем) xq , яка зветься помилкою квантування, або шумом квантування. Шум квантування справляє на процес передачі інформації по суті такий же вплив, як і завади в каналі зв'язку. Завади, так само як і квантування, призводять до того, що оцінки ŝ , одержувані на приймальній стороні системи зв'язку, відрізняються на деяку величину від істинного значення s . Оскільки квантування повідомлень призводить до появи помилок і втрати деякої частини інформації, можна визначити ціну таких втрат d ( s, xq ) і середню величину помилки, яка зумовлена квантуванням: D(q) d ( s, xq). Найчастіше в якості функції втрат (ціни втрат) використовується квадратична функція виду 2 d (s, xq) s xq . В цьому випадку мірою помилок квантування служить дисперсія цих помилок. Для рівномірного N -рівневого квантування з кроком дисперсія помилок квантування визначається наступним чином: N D( q ) xiq / 2 (s x ) q N 2 i 1 xiq / 2 p( x)dx (1 / N ) /2 i 1 / 2 2i p( i )d i . (1.3) Абсолютне значення помилки квантування не перевищує половини кроку квантування , і тоді при досить великому числі рівнів квантування 2 N і малій величині густину розподілу ймовірностей помилок квантування можна вважати рівномірною на інтервалі + … - : 2 2 1/ , i / 2, p( i ) 0, i / 2. В результаті величина помилки квантування визначиться співвідношенням N / 2 D(q) (1 / N) i di N * (1/ N) * i 1 / 2 2 3 / 12 2 / 12 (1.4) і відповідним вибором кроку квантування може бути зроблена як завгодно малою або зведена до будь-якої наперед заданої величини. Щодо необхідної точності передачі відліків повідомлень можна висловити ті ж міркування, що і для помилок часової дискретизації: шуми квантування або спотворення, обумовлені квантуванням, не мають істотного значення, якщо ці спотворення менше помилок, обумовлених завадами і допустимих технічними умовами.
