Загрузил Оксана Оксаночка

Алфавитный подход к измерению информации

реклама
АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ
Введение
Компьютер может хранить и обрабатывать информацию только в виде комбинации
электрических сигналов двух типов, которые принято обозначать 0 и 1. Любая информация
представляется в компьютере последовательностью этих сигналов. Такие последовательности
называют двоичными кодами. 0 и 1 в коде самая мелкая единица информации которая
называется битом.
Длина кодовой группы (количество 0 и 1).
Пример. Закодировать (записать) все буквы русского алфавита одинаковым количеством
нулей и единиц, но так, чтобы каждой букве соответствовал особый номер.
1) Если взять только два знака: 0 и 1, то удается закодировать только 4 буквы:
А=00 Б=01 В=10 Г=11
Это объясняется тем, что число комбинаций из двух символов (битов) 0 и 1 по два равно 22=4.
2) Если взять три знака:
А=000
Б=001
В=010
Г=011
Д=100
Е=101
Ж=110
3=111
Число комбинаций равно 23 = 8
3) Легко догадаться, что 25 =32, т.е. использование пяти знаков позволяет закодировать
однозначно каждую букву русского алфавита.
Но для представления произвольной информации в компьютере недостаточно закодировать
только буквы. Поэтому кодирование букв (заглавных и прописных латинского и русского
алфавитов), цифр, знаков препинания, спецзнаков и прочее требует использования 8 знаков (1
символ записывается кодом из 8 нулей и единиц).
Двоичный 8-разрядный код позволяет закодировать 28 =256 различных символов.
Соответствие между символами и их кодами задается с помощью таблиц кодов
Код - это ключ для перевода информации из одной формы в другую.
Кодирование - процесс преобразования информации в совокупность символов,
определяемую кодом.
На заре развития компьютерной техники, когда компьютеры были слабые и не было большого
объема памяти, кодировки представляли собой таблицу все символы, которой могли быть
представлены всеми возможными комбинациями числа в 16-ричной системе счисления или 256
возможных символов.
По этой причине не было возможности создать единую кодировку для всех языков в мире.
Каждая кодировка содержала в себе символы своего национального алфавита.
Для символов латиницы, как правило, использовалась кодировка ASCII:
Для символов кириллицы были созданы кодировки windows-1251 и KOI8-R. Это произошло
из-за того, что этими кодировками занимались сразу несколько фирм, чтобы обеспечить
поддержку русского языка для своих компьютеров.
1
Таблица с кодировкой Windows-1251
Кодировка KOI8-R:
С развитием вычислительной мощности компьютеров, стало возможным для кодирования
различным символов использовать намного больше единиц информации и решено было
создать универсальную кодировку для всех языков в мире. Такой кодировкой стала кодировка
UTF (Юникод).
Это огромная таблица, которая содержит более 1 миллиона закодированных символов.
Вот небольшая часть этой таблицы:
В настоящее время эта кодировка стала стандартом для всех компьютеров в мире. Юникод
содержит не только символы мировых алфавитов, но и различные значки, смайлики и др.
символы.
2
Алфавитный подход к измерению информации
Выдающийся советский математик прошлого века Андрей Николаевич Колмогоров
предложил подход к измерению информации, который получил название алфавитный.
Алфавит – это множество отличных друг от друга символов, используемых в каком-либо
языке.
Мощность алфавита - это количество символов в нем.
Примеры:
алфавит
кириллица
латиница
двоичная
система
счисления
десятичная
система
счисления
АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ
ABCDEFGHIJKLMNOPQRSTUVWXYZ
мощность
алфавита (N)
32
26
10
2
0123456789
10
При алфавитном подходе один бит – это количество информации, которое можно
передать сообщением из одного двоичного значка, то есть «0» или «1».
Важные особенности алфавитного подхода:

сообщения, записанные на естественном языке, кодируются без учета их смыслового
содержания (такой подход является объективным);

каждый символ несёт одинаковое количество информации, не учитывается, что
некоторые символы могут встречаться в сообщении чаще других.
Информационная емкость одного символа
Количество информации i, которое несет один символ (информационная емкость одного
символа алфавита) в тексте, и мощность алфавита N связаны формулой:
2i = N
Пример 1. Определить по формуле количество информации, которое несет знак в двоичной
знаковой системе
Решение
Ответ: информационная емкость знака двоичной знаковой системы составляет 1 бит.
Пример 2. Определить, какое количество информации несет буква русского алфавита (без
буквы ё).
Решение
Ответ: буква русского алфавита несет 5 битов информации.
Количество информации в сообщении
Сообщение состоит из последовательности знаков, каждый из которых несет определенное
количество информации.
Количество информации в сообщении можно посчитать, умножив количество информации,
которое несет один знак на количество знаков в сообщении.
где — количество информации в сообщении
— количество информации, которое несет один знак
— количество знаков в сообщении
3
Пример 1. Определить какое количество информации содержит слово «ПРИВЕТ», если
считать, что алфавит состоит из 32 букв?
Дано:
К=6
N = 32
Найти:
Ic -? (Какое количество информации содержит слово «ПРИВЕТ»)
Решение
1)
2)
= 6 * 5 = 30 (бит)
Ответ: слово «Привет» содержит 30 бит информации.
Пример 2. Информационное сообщение объёмом 720 битов состоит из 180 символов.
Какова мощность алфавита, с помощью которого записано это сообщение?
Дано:
Iс = 720 бит
K = 180 символов
Найти:
N-?
Решение
1) I = Ic / K = 720 / 180 = 4 (бита)
2) N = 24 = 16
Ответ: мощность алфавита 16.
4
Скачать