Открытое образование Информатика для втузов 9 сентября - 1 декабря 2019 г. Краткое содержание курса 1 Основы теории информации Основная терминология теории информации. Измерение кол-ва информации. Еденицы измерения информации (биты, триты, харты). Теоремы теории информации (в основном теоремы Шеннона) 2 Сжатие компьютерных данных Устройство типового архиватора. Алгоритмы сжатия. 3 Помехоустойчивое кодирование Кодирование, позволяющее восстановить искаженный фрагмент. Рассмотрение алгоритма. 4 Архитектура ЭВМ Основные принципы архитектуры Фон-Неймана. Отличие гарвардской архитектуры от принстонской. В тонкостях различий RISC и CISC архитектур. 5 Организация компьютерных сетей Устройство OSI-модель – это модель взаимодействия открытых систем. (Эту модель применяют при разработке всего сетевого оборудования, а также при проектировании протоколов передачи данных.) 6 Работа с офисными пакетами Разберем некоторые способы автоматизации работы с этими пакетами, например, применение макросов. Освоение компьютерной системы верстки TeX, которую применяют в научном мире для публикации статей. 7 Программное обеспе́чение профессиональных программистов Если Вам до сих пор неизвестны такие слова, как bugtracker, tacktracker, debugger, то предстоит узнать много нового. Набор программ программиста достаточно сильно отличается от набора программ обычного пользователя. Введение. Определение термина информатика Начать изучение информатики невозможно, не разобравшись в точном значении термина «информатика». Однако, до сих пор в мировой научной общественности не сложилось четкого понимания этого термина. Рассмотрим одно из популярных определений слова информатика. Информатика – дисциплина, изучающая свойства и структуру информации, закономерности ее создания, преобразования, накопления, передачи и использования. Если в него вчитаться, станет очевидным, что под это определение подпадает большое количество наук, совершенно не связанных с компьютерами, например – педагогика. В процессе обучения один человек передаёт знания, т.е. информацию – другому человеку. В соответствии с данным определением, дисциплина, изучающая передачу информации, закономерности передачи, должна считаться информатикой, т.е. педагогику можно считать и информатикой. За рубежом сложилась чуть более узкая трактовка термина информатика. Там под этим понимают пересечение сразу трех областей науки – это информационные технологии, теория информации и computer science. Computer science оставим без перевода, т.к. перевод на русский язык также до сих пор четко не оформился. Изучая некоторую науку важно представлять основные даты, вехи ее развития. Важные даты: 1956 – появление термина «информатика» (нем. Informatik), впервые его употребил немецкий ученый Штейнбух. 1968 – первое упоминание в СССР (информалогия). Академик Харкевич предложил использовать два слова «информатика» и «информалогия» как синонимы, однако, второй не прижился. В 70-ых годах информатику принято считать уже отдельной наукой. Вузы начинают выпускать студентов, основным предметом изучения которых являются компьютеры. И, наконец, любой специалист должен знать свой профессиональный праздник. 4 декабря – день информатики в России Основы теории информации. Терминология: информация и данные В обыденном языке слова «информация» и «данные» считаются синонимами. Они, как правило, употребляются взаимозаменяемо. И так обстоит дело в информатике и в целом, в компьютерных науках. Рассмотрим определение из важного международного стандарта, в котором собраны основные термины, употребляемые в компьютерных науках. В этом стандарте, «информация» есть синоним слова «знание», а «данные» — это некоторая форма представления этих знаний, такая, чтобы ее было удобно использовать для передачи и обработки. Например, мои знания о предмете информатика в соответствии с этим определением являются информацией: они содержатся у меня в голове и никому извне не видны, но, как только я их выразил в виде данной презентации, получились данные. Данная презентация является данными, которые удобно передавать и обрабатывать. Возникает вопрос, что же мы изучаем, информацию или данные в нашем предмете? Как выясняется, и то, и другое. Можно изучать как свойства знаний, которые хранятся у нас в голове, так и свойства формы их представления. Еще один интересный вопрос – можно ли измерить информацию. Если с измерением данных, как правило, проблем не возникает (что легко видно из указанного примера), мы можем просто подсчитать количество букв в утверждении «Байкал – самое глубокое озеро Земли». Однако, как измерить, какое количество информации в нем содержится? Некоторые признаки классификации информации Рассмотрим подробнее понятие информация, как ключевой объект изучения науки «Информатика». Чтобы лучше понять некоторые термины, удобно рассмотреть его классификацию. Итак, какой же бывает информация? Информация бывает точной и неточной. На этом свойстве завязано некоторое количество отраслей компьютерных наук. Например, методы округления, которые достаточно часто применяются при программировании; они напрямую связаны с точностью представления информации. Следующий аспект применения применяется в сжатии медиа-данных. Как правило, оно является сжатием с потерями, когда некоторые представления либо изображения, либо звука заменяются его менее точным представлением, которое занимает меньше места в файле, но при этом мало отражается на качестве самих данных при их восприятии человеком. Следующее свойство определяет, является информация ценной или не является. Это ключевое свойство для такой отрасли компьютерных наук, как защита информации. Основная аксиома в этой отрасли – это «Количество денег, затраченных на защиту информации, не должно превосходить стоимость информации», поэтому оценить ценность информации – очень важная задача. Следующий признак классификации – стадия обработки. При программировании достаточно часто используются несколько стадий обработки некоторой информации. Сначала программист подготавливает некоторый массив, затем его сортирует, как-то обрабатывает, затем повторно обрабатывает, чтобы этот массив было удобно показать пользователю. Следующий признак классификации – полнота. Этот признак используется также при сжатии данных, но в этом случае имеется ввиду сжатие без потерь. Достаточно часто в файлах пользователя количество информации явно избыточно. Можно его совершенно без ущерба для содержания файла, для его интерпретации убрать, либо закодировать таким образом, чтобы представление занимало меньше места. Еще один аспект классификации – насколько близко данные находятся к первоисточнику получения информации, из которого были получены эти данные. Здесь можно привести в пример модную отрасль интеллектуального анализа данных – Big Data, когда существуют огромные массивы необработанных данных и разрабатываются некоторый алгоритм, который, не зная структуры данных пытается вычленить оттуда какие-то полезные, интересные свойства. Следующим важным свойством информации является определение того, как мы ее получили. Методы получения информации. Оказывается, можно вместо проведения натурного эксперимента, как это делают физики, написать программу, которая имитирует реальность проводимого эксперимента, а затем позволяет менять эту реальность, и оцениваемые результаты получаются достаточно близкими к натурному эксперименту. Еще одно важное свойство – актуальность. Всем пользователям известны периодические запросы на обновление компьютерных программ. Таким образом программы пытаются поддерживать себя в актуальном состоянии. Кроме того, существует целая отрасль CMS – систем управления содержимым. Например, на сайтах. Владелец сайта, как правило, желает, чтобы на сайте находилась всегда самая последняя актуальная информация. Еще одно важное свойство – достоверность. При скачивании файлов с сайтов, вы могли обратить внимание на то, что владельцы этих файлов иногда прикладывают так называемые MD5-суммы. Эти суммы позволяют убедиться при скачивании файлов, что никто во время передачи этого файла его не подменил, и что файл действительно является достоверный тому, который был выложен на сайте. Еще одна известная всем аббревиатура – https. Ее мог видеть каждый, кто посещает современные сайты. Последня буковка „S“ связана с тем, что на таких сайтах обеспечивается достоверность содержимого. То есть, предполагается, что специальная технология отслеживает, что никто в процессе передачи данных сайта их не подменил. И не подменил в том числе имя сайта. Роль при передаче. Наиболее четко это свойство информации используется при разработке компьютерных сетей. В компьютерных сетях данные передаются порциями. Как правило, файл пользователя разделяется на несколько частей, затем передается по частям, а затем опять собирается. В этом смысле довольно очевидна роль этих блоков данных как входных, выходных, так и промежуточных. Кроме того, внутри самого компьютера при реализации интерфейсов передачи между различными частями компьютера также информация рассматривается как входная для некоторого модуля, например, процессора, и выходная. Либо же внутренняя, которая никуда вовне не попадает. Изменчивость информации используется при разработке такой технологии, как кэширование. Если пользователь достаточно часто заходит на сайт, а сайт меняется редко, то браузер обычно запоминает редко изменяемое содержимое и затем при повторном обращении не обращается в сеть, а показывает это мало изменяющееся содержимое пользователю из так называемого кэша. То есть, из запомненной истории. Система кэширования – достаточно сложная штука. Ее исследованию посвящаются статьи и монографии. Кроме того, на принципах изменчивости информации построено проектирование систем хранения данных. Если информация редко меняется, ее рационально записать, например, на CD или DVD носитель. Если информация требуется часто, и требуется часто ее изменять, можно использовать такие накопители, как флеш-карты и SD накопители. Доступность информации. Целая отрасль компьютерных наук, криптография, связана с обеспечением доступности или недоступности информации. После того, как пользователь зашифровал некоторый блок данных, он становится недоступным. Конечно, если злоумышленники не владеют ключом шифрования или паролем. Для удобства запоминания этих признаков информации можно использовать указанную ниже мнемотехническую аббревиатуру. В ней каждая буква является первой буквой одного из признаков классификации. "ТЦ", например, обозначает Точность, Ценность, и так далее. Измерение количества информации Мера Хартли Вернемся ко вскользь упомянутому вопросу об измерении количества информации. Сколько ее содержится в утверждении, что Байкал – самое глубокое озеро Земли? По определению количество информации – это энтропия или неопределенность информации, непредсказуемость информации. В соответствии с этим определением количество информации в утверждении про Байкал для русского человека достаточно мало. Количество информации для австралийского аборигена в том же самом утверждении про Байкал должно быть ощутимо больше. Такой подход к измерению количества информации применим не только к сообщениям, к утверждениям, но и в целом к любому объекту, к любой системе. Попробуем математически это записать. Введем некоторую функцию i, которая измеряет количество информации в объекте s. Практически любой объект s можно разбить на подобъекты, подсистемы. Будем считать, что их n штук, и каждое из его частей называется sk. Рассмотрим свойства меры количества информации нашей функции i, которые бы нам хотелось видеть. Изначально эти свойства вводились как аксиомы. Во-первых, желательно, чтобы количество информации было неотрицательным числом. Довольно странно смотрелось бы количество информации в сообщении равно -5 битам. Следующее свойство утверждает, что если состояние некоторого объекта нам доподлинно и заранее известно, то количество новой информации, то есть энтропии, которое нам принесет этот объект, равно нулю. Еще одно важное свойство – аддитивность. Если мы умеем считать количество информации в каждой из составных частей некоторого объекта, то нам желательно, чтобы общее количество информации во всем объекте было простой суммой этих составных частей. И последнее – монотонность. Функция „количество информации“ должна меняться монотонно. То есть, либо убывать, либо возрастать при монотонном изменении вероятности. То есть, если вероятность некоторого состояния вдруг повышается, то количество информации в системе должно аналогично монотонно или увеличиться, или уменьшиться. Что такое вероятность события Прежде чем перейти к определению мер количества информации, разберемся с тем, что такое вероятность некоторого события. Понятие „вероятность“ использовалось при описании свойств информации, свойств меры количества информации. Далеко не всегда в школьной программе присутствует введение в теорию вероятности. Итак, классическое определение вероятности некоторого события. Предполагается, что наше событие может наблюдаться в качестве исхода некоторого эксперимента. Если экспериментом считать подбрасывание игральной кости, а событием A считать выпадение нечетного количества точек, то получается, что из шести равновозможных исходов этого эксперимента, нас будут устраивать только три, то есть половина. В этом случае вероятность увидеть четное количество точек в качестве результата эксперимента будет равна 3/6 или 1/2. Однако далеко не всегда удается доказать или увидеть, что исходы эксперимента являются равновероятными, равновозможными. Предположим, что игральная кость имеет смещенный центр тяжести. Умышленно или случайно, в этом случае посчитать вероятность события A простым классическим способом не получится. Для расчетов приходится применять статистический способ, при котором выполняется огромное количество экспериментов n и каждый раз наблюдается, выпало событие A или не выпало. В случае с костью экспериментатор должен будет 1000, 10000, 100000 раз подбросить ее и каждый раз, записывая результат, отмечать, выпало четное или нечетное количество точек. Существуют и другие определения вероятности, но эти два наиболее нам подходят. Из этих двух определений напрямую следует одно из важных свойств вероятности – мера вероятности находится всегда в диапазоне от 0 до 1. Вероятность 0 означает невозможное событие, вероятность 1 означает достоверное событие, которое наверняка произойдет. Мера количества информации по Хартли Разобравшись с понятием „вероятность“, попробуем понять, каким образом Ральф Хартли предложил измерять количество информации. Рассмотрим систему S, которая может находиться в одном из N равновозможных состояний. Очевидно, что вероятность обнаружить систему в одном из N таких состояний вычисляется по формуле 1/N. Нам требуется передать сообщение, которое содержит информацию о выпавшем состоянии. Сообщение будем кодировать в двоичной системе счисления. И положим, что длина такого сообщения – d. Возникает вопрос, какова должны быть длина сообщения, чтобы закодировать абсолютно все возможные состояния? Очевидно, что длина двоичного сообщения d позволяет закодировать 2^d возможных комбинаций. Если задать простое условие, что 2^d больше или равно N, мы сможем понять, каким должно быть двоичное сообщение, чтобы у нас появилась возможность закодировать любое из состояний системы S. Получится, что d больше либо равно чем двоичный логарифм от N. Отсюда Ральф Хартли делает вывод, что для назначенного описания системы как раз и требуется вычисленное количество информации. Однако совершенно не обязательно измерять длину сообщения именно в битах. Ведь вполне можно допустить, что для передачи сообщения используется троичная система счисления. Выбор системы счисления просто влияет на основание логарифма. И в качестве окончательной мы видим формулу Хартли как логарифм от N по некоторому основанию x. Эту же формулу можно записать, как минус логарифм от вероятности по основанию x. Как было сказано, выбор основания x влияет только на единицы измерений, которые получаются при измерении количества информации. Если в качестве основания используется 2, единицами измерения считаются биты или Шенноны (эти названия эквивалентные). Короткое обозначение единицы измерения Шеннон приведено в англоязычном и русскоязычном варианте на слайде. Если в качестве основания системы счисления взять 3, измеренное количество информации будет получено в тритах. Об этом говорит указанное здесь равенство. Основание системы счисления 10 или основание логарифма 10 даст измерения количества информации в хартах или дитах. Это синонимичные названия единиц измерения. Англоязычная и русскоязычная версия приведены также на слайде в скобках. Скобки показывают, что данные единицы измерения совершенно эквивалентны. И, наконец, если в качестве основания логарифма взять число e, то полученное число будет выражено в так называемых натах. Интересными вопросами являются о том, какова этимология указанных единиц измерения? И второй вопрос: как можно пересчитать одни единицы измерения через другие? Скажем, какое количество дит содержится в 33 битах? Ответ на первый вопрос находим в английском языке. Bit — это сокращение от BInary digiT. Dit соответственно от Decimal digIT, и так далее. Кроме того, эти единицы измерения получили свой вид от ученых, предложивших эти единицы измерения. Так, биты можно называть Шеннонами, а диты можно называть хартами. Ответ на второй вопрос чуть менее очевиден. Для того чтобы не запоминать специальную формулу для перевода, предлагается использовать формулу Хартли. Количество информации 33 бит содержится в такой гипотетической системе, в которой N состояний являются равновероятными. Из этого простого уравнения мы можем вычислить число N как 2^33. Очевидно, что по формуле Хартли количество информации в этой же системе можно рассчитать, как десятичный логарифм от N, и полученное число будет выражено уже в дитах. Осталось подставить в это выражение число N, выраженное, используя запись для битов. Как мы видели, N отсюда выражается в виде 2^33. Подставляем вместо N 2^33 и получаем в итоге 33 на десятичный логарифм от двойки. Если вычислить это выражение окончательно, то получится 9,9 дит. Пример применения меры Хартли на практике Для того чтобы на интуитивном уровне лучше понять смысл меры Хартли, рассмотрим несколько примеров её применения. Пусть происходит игра, в которой ведущий загадывает число от 1 до 64; играющим нужно, задавая вопросы типа «Да-Нет», гарантированно угадать это число, задав наименьшее количество вопросов. Эта задача решается с применением следующего алгоритма: играющие должны задать вопрос: «Является ли загаданное число меньше 32?» И в зависимости от ответа («Да» или «Нет») сужать область поиска, каждый раз деля неизвестный диапазон пополам. В этом случае следующим вопросом, например, может быть: «Загаданное число меньше 16?». Если ведущий ответит: «Нет» - придётся загадывать число из диапазона от 16 до 32, то есть его середины. Таким образом, каждый раз уменьшая в 2 раза количество неправильных ответов, нам будет достаточно всего 6 вопросов, чтобы гарантированно получить верный ответ. Аналогичный результат можно получить, используя меру Хартли: нам известно, что всего существует 64 возможных исхода в данной игре, следовательно, количество информации, которое в ней содержится это log 2 64 = 6. Указанная игра содержит 6 бит неопределённости, непредсказуемости, то есть информации. В качестве второго примера, рассмотрим другую игру, когда ведущий держит за спиной шахматного ферзя. Его действия заключаются в том, чтобы случайным образом выбрать клетку доски и поставить его перед остальными участниками; и возникает вопрос: «Какое количество непредсказуемости, неопределённости находится в его действиях для остальных наблюдающих?». В следствие того, что всего на доске 64 клетки, то первым источником неопределённости можно считать выбор одной из клеток, второй источник – цвет ферзя, ведь ведущий держит его за спиной, и остальные участники не видят его цвет (белый или чёрный). Перемножив все возможные комбинации выпадающих значений, получим 128 равновероятных состояний. Следовательно, используя меру Хартли, можем посчитать количество бит, которое содержится в действиях ведущего, это log 2 128 = 7 бит. Анализ свойств меры Хартли Проанализируем теперь свойства меры Хартли, проверяя её на соответствие четырём ранее сформулированным свойствам для функций меры количества информации. Сделаем это с помощью примеров. Пусть в эксперименте выполняется одновременно два действия: подбрасываются монета и игральная кость. Требуется посчитать, какое количество информации содержится в данном эксперименте для некоторого наблюдателя. На примерах ранее мы рассчитывали количество информации, содержащееся в подбрасывании монеты: количество возможных исходов – 2; количество информации log 2 2 = 1 бит; количество информации игральной кости – log 2 6. Проверим, обладает ли мера Хартли заявленными ранее свойствами. Первое свойство было аддитивность: если мы применим меру Хартли к независимым частям эксперимента, то есть к монете и кости, мы получим вот такую формулу (см. слайд), log x 2 + log x 6. Очевидно, что в силу свойств логарифма получится log x 12. Очевидно, что это решение правильное, ведь при анализе количества возможных исходов эксперимента, мы обнаружим, что их ровно 12. Обратим внимание, что при использовании другой функции, то есть НЕ логарифма, вместо функции i (см. слайд), мы бы не смогли достичь этого эффекта. Постарайтесь подобрать такую функцию i, чтобы при её применении к ситуации с двумя исходами и к ситуации с 6 исходами в сумме получилось бы 12. Очевидно, что количество исходов должно в этом случае перемножиться, чего невозможно достичь, используя другую функцию вместо логарифма. Строго математически это доказал К.Э. Шеннон. Следующее свойство – неотрицательность. Очевидно, что мера Хартли будет неотрицательна при условии, что основание логарифма больше 1, а количество состояний системы больше или равно 1. В силу естественных обстоятельств постановки эксперимента эти два условия очевидно истинны. Далее, свойство монотонности. Рассматривая функцию log x N мы можем заменить N как 1/вероятность, откуда будет следовать, что при монотонном изменении вероятности функция количества информации будет также монотонно изменяться. И последнее свойство – принцип предопределённости - очевидно доказуемо с помощью подстановки конкретных чисел в формулу Хартли. Предположим, что нам заранее известно, на какую грань ляжет монета и какое количество точек выпадет на игральной кости. В этом случае вероятность отслеживаемого события будет равна 1, как первого, так и второго. Если мы возьмём log x 1, то гарантированно получим 0, о чем и говорит принцип предопределённости. Число состояний системы равно 954. Сколько дитов составляет мера Хартли для этой системы? Округлить до целого в большую сторону. Мера количества информации по Шеннону Важным допущением формулы Хартли является предположение о том, что все состояния наблюдаемой системы являются равновероятными. Но как тогда посчитать количество информации в системе, в которой это условие не выполняется? Эту задачу решил Клод Шеннон, предложив измерять количество информации по указанной на слайде формуле. Видим, что здесь также фигурирует общее количество состояний в системе, то есть N, но кроме этого в явном виде учитывается вероятность каждого из таких состояний. Прежде, чем вывести эту формулу, рассмотрим некоторые её важные свойства. Во-первых, формула Шеннона обобщает формулу Хартли, то есть результаты, полученные с помощью одной формулы, не противоречат другой. Убедимся в этом на примере. Пусть система, количество информации которой мы измеряем, это эксперимент, состоящий в подбрасывании монеты. В этом случае возможны 2 исхода, они равновероятны в общем случае. И по формуле Хартли количество информации в такой системе будет рассчитано как равное 1 биту. Формула Шеннона для той же системы выглядит более громоздко (см. слайд), однако, как видим, результат получается тот же самый (1 бит). Рассмотрим второй пример, когда подбрасываемая монета имеет смещённый центр тяжести. Интуитивно можно предположить, что в этом случае результат эксперимента является более предсказуемым: одна из сторон (орёл или решка) будет выпадать заведомо чаще и поэтому количество неопределённости в такой системе должно быть меньше. Проверим это интуитивное предположение по формуле Шеннона. Предполагаем, что с вероятностью 0,75 у нас выпадает орёл, а с вероятностью 0,25 выпадает решка. Подставив эти цифры в формулу Шеннона, получим итоговое количество информации 0,8 бит. Очевидно, это меньше одного бита и наше интуитивное предположение оправдалось. Пример использования меры Шеннона Возможно, лучше понять, как применяется мера Шеннона, позволит следующий пример. Пусть в рамках некоторой системы шулер вытягивает из колоды карт одну, при этом ему заранее известно, что в этой колоде содержится заданное количество карт заданных достоинств. Какое количество информации для шулера будет содержатся в этом событии? Очевидно, что мера неопределённости при появлении джокера существенно меньше энтропии при появлении короля. Это вытекает из того, что вероятность вытащить джокера ощутимо больше. Учесть разницу в вероятностях как раз позволяет мера Шеннона. Для того чтобы её использовать, рассчитаем сначала вероятность появлении карты каждого из достоинств. Из 9 возможных исходов появление джокера соответствует 3 исходам, соответственно вероятность этого события равна 3/9 или же 1/3. Для сравнения вытянуть валета можно лишь в качестве 1 исхода из 9 (вероятность 1/9). Теперь рассчитанные вероятности можно использовать в формуле Шеннона. Подставив значения и используя основание логарифма 3, чтобы посчитать количество информации в тритах, получим следующее выражение (см. слайд). Упростив его, в итоге получим 4/3 трита. Это значение (4/3) примерно равно log 3 5. Сравним это количество информации с количеством информации, которое получает обычный игрок, наблюдая за этой системой. Обычному игроку не известен состав карт в закрытой колоде, поэтому для него количество возможных исходов будет равно 14, если считать их равновероятными, то соответствующее количество информации будет равно log 3 14, где 14 - это количество достоинств карт в полной колоде. Нестрогий вывод формулы Шеннона Разобравшись с основными свойствами формулы Шеннона, попробуем осуществить её нестрогий вывод. Для этого будем использовать уже упомянутый выше пример с подбрасыванием монеты, имеющей смещенный центр тяжести. При это будем считать, что орел выпадает в 25% случаев, решка - в 75%. Нам интересно рассчитать, какое количество информации содержится в одном таком подбрасывании. Для того чтобы решить эту задачу будем использовать статистическое определение вероятности. Будем выполнять эксперимент ровно N раз, где N→∞. При этом, выполняя N подбрасываний, будем записывать, какое количество раз мы увидели решку и какое количество раз увидели орла. Соответствующие переменные - K и N. Далее мы можем подсчитать какое общее количество информации содержится во всём проведённом эксперименте, то есть в N подбрасываниях. Чтобы рассчитать это количество, будем использовать свойство аддитивности меры количества информации. Зная, что количество информации выпадения решки равно i, умножим это количество на M выпавших решек и получим общее количество информации, полученное при выпадении M решек. Аналогичную процедуру проделаем с орлами и, как итог, получим следующую формулу. Далее, зная общее количество информации во всем эксперименте, то есть в N подбрасываниях, можем подсчитать, какое количество информации в одном подбрасывании. Среднее количество информации, очевидно, будет общее количество информации поделить на N. Используя выведенную чуть выше формулу и поделив почленно, получим вот такое выражение, в котором два сомножителя представляют из себя определение вероятности, статистическое определение вероятности, которое мы рассматривали чуть выше. M/N - это вероятность появления решки при N подбрасываниях. Запишем формулу в чуть более упрощенном виде, используя понятие вероятности. Единственный неизвестный элемент в этой формуле — это количество информации в соответствующих двух событиях. Для того чтобы их вычислить, просто используем формулу Хартли. Используя вероятность соответствующих событий, подставив в исходную формулу, получим в явном виде формулу Шеннона, и, доведя её до цифр, рассчитанное значение окажется 0.8 бит. Именно такое количество информации содержится в проведении одного эксперимента по подбрасыванию монеты со смещенным центром тяжести. Чему равна сумма вероятностей pi всех i состояний системы? Девочка наугад вытаскивает из мешка мяч. Известно, что в мешке всего 8 мячей, из них: 4 красных, 2 синих, 1 зеленый и 1 белый. Какое количество информации (в битах) содержится в этом событии? При ответе с дробной частью использовать точку в качестве разделителя.
