Готовая Курсовая по струкруам

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ
ОБРАЗОВАТЕЛЬНОЕ
УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«ЛИПЕЦКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
«КАФЕДРА ИНФОРМАТИКИ»
Курсовая работа
по дисциплине
«Структуры и алгоритмы обработки данных»
«Статический алгоритм Хаффмана»
Студент (ка)
Поверина А.А.
Группы
З-УТ-18
Проверил
Батищев Р.В.
Липецк 2021 г.
Аннотация
В данном курсовом проекте рассмотрели 2 основных метода:
компрессии и декомпрессии статического алгоритма Хаффмана. Исследовали
эффективность (степень сжатия) в зависимости от типа и размера сжимаемых
файлов.
2
Содержание
Лист
Введение
4
Теоретическая часть
5
Исходные данные
7
Алгоритм построения дерева Хаффмана
8
Детали реализации
11
Используемые АТД
12
Структура программы
16
Результат работы программы
20
Заключение
21
Список используемой литературы
22
3
Введение
Основной целью курсовой работы является создание и развитие
навыков исследовательской работы, умения работать с научной литературой,
делать на основе ее изучения выводы и обобщения, умения эффективно
использовать вычислительную технику и современное программное
обеспечение.
Курсовая работа направлена на формирование у студента следующих
профессиональных компетенций:
- способность использовать методы статического алгоритма Хаффмана;
- способность привлечь для решения профессиональных задач
соответствующий физико-математический аппарат;
- способность и готовность использовать информационные технологии
в своей предметной области;
- готовность понимать существо задач анализа объектов в технической
среде.
Задание к курсовой работе включает задачи по изучению структуры
алгоритма Хаффмана.
Цель базовой части – освоить основные методы компрессии и
декомпрессии статического алгоритма Хаффмана. Исследование
эффективности (степени сжатия) в зависимости от типа и размера
сжимаемых файлов.
4
Теоретическая часть
Метод Хаффмана является исторически первым методом группы
частотных алгоритмов. Оригинальная работа была опубликована в 1952 г.
под названием "A Method for The Construction of Minimum Redundancy
Codes".
В основе метода лежит модель кодирования в виде бинарного дерева с
минимальной длиной взвешенных путей.
Бинарным деревом называется ориентированное дерево, полу степень
исхода любой из вершин которого не превышает двух.
Вершина бинарного дерева, полу степень захода которой равна нулю,
называется корнем. Для остальных вершин дерева полу степень захода равна
единице.
Вершина
m-дерева,
полустепень
исхода
которой
равна
нулю,
называется листом. Для остальных вершин полу степень исхода составляет 1
или 2.
Пусть T - бинарное дерево, А = (0,1) - двоичный алфавит, и каждому
ребру Т- дерева приписана одна из букв алфавита таким образом, что все
ребра, исходящие из одной вершины, помечены различными буквами. Тогда
любому листу T - дерева можно приписать уникальное кодовое слово,
образованное из букв, которыми помечены ребра, встречающиеся при
движении от корня к соответствующему листу.
Особенность описанного способа кодирования в том, что полученные
коды
являются
префиксными.
Очевидно,
что
стоимость
хранения
информации, закодированной при помощи T - дерева, равна сумме длин
путей
из
корня
к
каждому
листу
дерева,
взвешенных
частотой
соответствующего кодового слова, или длиной взвешенных путей: Σwili, где
wi- частота кодового слова длины li во входном потоке.
Рассмотрим в качестве примера кодировку символов в стандарте
ASCII.
Здесь
каждый
символ
представляет
5
собой
кодовое
слово
фиксированной (8 бит) длины, поэтому стоимость хранения определится
выражением 8Σwi = 8W, где W - количество кодовых слов во входном потоке.
Поэтому стоимость хранения 39 кодовых слов в кодировке ASCII равна 312,
независимо от относительной частоты отдельных символов в этом потоке.
Алгоритм Хаффмана позволяет уменьшить стоимость хранения потока
кодовых слов путём такого подбора длин кодовых слов, который
минимизирует длину взвешенных путей. Будем называть дерево с
минимальной длиной взвешенных путей деревом Хаффмана.
Классический алгоритм Хаффмана на входе получает таблицу частот
символов во входном потоке.
6
Исходные данные
Для демонстрации работы алгоритма мы использовали по 2 файла 3
типов разных размеров: doc, bmp, jpeg. После компрессии появляется файл в
том же каталоге с именем дополненным суффиксом “.hfm” в конце. После
декомпрессии программа создаёт файл, убирая расширение “.hfm”из конца
имени файла.
Вся программа представляет собой Windows Forms приложение на
языке C#.
7
Алгоритм построения дерева Хаффмана
1. Символы входного алфавита образуют список свободных узлов.
Каждый имеет вес, который может быть равен либо вероятности, либо
количеству вхождений символа в ожидаемое сообщение.
2. Выбираются два свободных узла дерева с наименьшими весами.
3. Создаётся их родитель с весом, равным их суммарному весу.
4. Родитель добавляется в список свободных узлов, а двое его детей
удаляются из этого списка.
5. Одной дуге, выходящей из родителя, ставится в соответствие бит 1,
другой - бит 0.
6. Шаги, начиная со второго, повторяются до тех пор, пока в списке
свободных узлов не останется только один свободный узел. Он и будет
считаться корнем дерева.
Например, у нас есть следующая таблица частот:
15
7
6
6
5
А
Б
В
Г
Д
На первом шаге из листьев дерева выбираются два с наименьшими
весами - Г и Д. Они присоединяются к новому узлу-родителю, вес которого
устанавливается 5 + 6 = 11. Затем узлы Г и Д удаляются из списка
свободных. Узел Г соответствует ветви 0 родителя, узел Д - ветви 1.
На следующем шаге то же происходит с узлами Б и В, так как теперь
эта пара имеет самый меньший вес в дереве. Создаётся новый узел с весом
13, а узлы Б и В удаляются из списка свободных. После всего этого дерево
кодирования выглядит так, как показано на рис. 1.
8
Рис. 1. Дерево кодирования Хаффмана после второго шага
На следующем шаге «наилегчайшей» парой оказываются узлы Б/В и
Г/Д. Для них ещё раз создаётся родитель, теперь уже с весом 24. Узел Б/В
соответствует ветви 0 родителя, Г/Д-ветви 1.
На последнем шаге в списке свободных осталось только два узла - это
узел А и узел Б (Б/В)/(Г/Д). В очередной раз создаётся родитель с весом 39 и
бывшие свободными узлы присоединяются к разным его ветвям.
Поскольку свободным остался только один узел, то алгоритм
построения
дерева
кодирования
Хаффмана
завершается.
Н-дерево
представлено на рис. 2.
Рис. 2. Окончательное дерево кодирования Хаффмана
Каждый
символ,
входящий
в
сообщение,
определяется
как
конкатенация нулей и единиц, сопоставленных рёбрам дерева Хаффмана, на
пути от корня к соответствующему листу.
9
Для данной таблицы символов коды Хаффмана будут выглядеть
следующим образом:
А
0
Б
100
В
101
Г
110
Д
111
Наиболее частый символ сообщения А закодирован наименьшим
количеством битов, а наиболее редкий символ Д - наибольшим. Стоимость
хранения кодированного потока, определенная как сумма длин взвешенных
путей,
определится
выражением:
15*1+7*3+6*3+6*3+5*3
=87,
что
существенно меньше стоимости хранения входного потока (312).
Поскольку ни один из полученных кодов не является префиксом
другого, они могут быть однозначно декодированы при чтении их из потока.
Алгоритм декодирования предполагает просмотр потока битов и синхронное
перемещение от корня вниз по дереву Хаффмана в соответствии со
считанным значением до тех пор, пока не будет достигнут лист, то есть
декодировано
очередное
кодовое
слово,
после
чего
распознавание
один
существенный
следующего слова вновь начинается с вершины дерева.
Классический
алгоритм
Хаффмана
имеет
недостаток. Для восстановления содержимого сжатого сообщения декодер
должен
знать
модель
кодирования,
которой
пользовался
кодер.
Следовательно, длина сжатого сообщения увеличивается на размер модели
кодирования, которая должна посылаться впереди данных, что может свести
на нет все усилия по сжатию сообщения. Кроме того, необходимость наличия
полной частотной статистики перед началом собственно кодирования
требует двух проходов по сообщению: одного - для построения модели
сообщения (таблицы частот и дерева Хаффмана), другого - для собственно
кодирования.
10
Детали реализации
Главной проблемой статического алгоритма Хаффмана является запись
в файл модели кодирования. В данной программе мы записываем модель
кодирования таким образом: сначала идёт сам байт, а затем его количество
появлений в исходном тексте(4 байта - стандартный тип int): итого 1 + 4 = 5
байт, т.е. в худшем случае - 256 * 5 = 1280 примерно 1 кб.
11
Используемые АТД
Дерево
—
это
иерархического
элемента
имеет
во
родителя
абстрактный
хранения
главе
дерева
(parent)
и
тип
элементов.
(root),
ноль
или
каждый
более
данных
За
(АТД)
для
исключением
элемент
структуры
дочерних
элементов
(children). АТД пирамида представляет собой полное бинарное дерево. В
данном случае используется в качестве очереди с приоритетами.
classMinHeap<T>where T : IComparable
{T[] A = new T[1000];N;()
{= 0;
}Swap(ref T X, ref T Y)
{Temp;= X;= Y;= Temp;
}Parent(inti)
{/ 2;
}Left(inti)
{2 * i;
}Right(inti)
{2 * i + 1;
}(inti)
{smallest;l = Left(i), r = Right(i);((l <= N) && (A[l].CompareTo(A[i]) <
0))= l;= i;((r <= N) && (A[r].CompareTo(A[smallest]) < 0))= r;(smallest != i)
{(ref A[i], ref A[smallest]);(smallest);
}
}()
{(inti = N / 2; i>= 1; i--)
MinHeapify(i);
}
12
//Возвращает ключ с минимальным значением
public T HeapGetMin()
{A[1];
}
// Извлекает и возвращает ключ с минимальным значением
public T HeapExtractMin()
{Min;= A[1];[1] = A[N];-;(1);Min;
}(inti, T Key)
{[i] = Key;((i> 1) && (A[Parent(i)].CompareTo(A[i]) > 0))
{(ref A[i], ref A[Parent(i)]);
i = Parent(i);
}0;
}
// Вставляет новый ключ в пирамиду
// "Key" - Ключ для вставки(T Key)
{++;(N, Key);
}
}
}
) АТД бинарное дерево.
- дерево, каждый узел которого имеет не более 2 дочерних узлов.
// Узел дерева: IComparable
{Node() { }(Object node)
{(this.Weight>
((Node)node).Weight)1;(this.Weight<
((Node)node).Weight)-1;0;
}? Char { get; set; } // Символ узла, если не null
publicint Weight { get; set; } // Вес узлаRight { get; set; } // Ссылка на
правое поддеревоLeft { get; set; } // Ссылка на левое поддеревоNode()
13
{= null;= 0;
}Node(int weight, byte c)
{= weight;= c;
}Node(Node left, Node right, int weight)
{= left;= right;= weight;
}Node(Node left, Node right, int weight, byte? c)
{= left;= right;= weight; = c;
}
}
}
// Дерево кодирования
publicclassTree
{
// Ссылка на корень дерева
private NodeRoot;
// Таблица соответствия символу его кода
privateDictionary<byte, string> table;Create(Dictionary<byte, int> table)
{N = table.Count;<Node> heap = newMinHeap<Node>();(var t in table)
{.HeapInsert(newNode(t.Value, t.Key));
}(inti = 0; i< N - 1; ++i)
{x = heap.HeapExtractMin();y = heap.HeapExtractMin();z = newNode(y, x,
x.Weight + y.Weight);.HeapInsert(z);
}(heap.HeapExtractMin());
}Tree(Node root)
{= root; = newDictionary<byte,string>();
}
// Возвращает таблицу соответствия символа его коду
publicDictionary<byte, string>Interpretate()
{(Root != null)
{(Root, "");table;
14
};
}
// Возвращает раскодированную последовательность
// "input" - Строка битов
publicList<byte> Recognize(string input)
{<byte> total = newList<byte>();(inti = 0; i<input.Length;)
{= Root;(true)
{(i>= input.Length) break;(curr.Char != null)
{.Add(Convert.ToByte(curr.Char));;
}
{(input[i] == '0')= curr.Left;= curr.Right;++;
}
}
}total;
}DFS(Nodenode, stringstr)
{(node.Char == null)
{(node.Left != null)(node.Left, str + "0");(node.Right != null)(node.Right,
str + "1");
}
{[Convert.ToByte(node.Char)] = str.ToString();
}
}
}
}
15
Структура программы
кодирование информация алгоритм хаффман
Главную логику программы инкапсулируют 2 класса:
Static Haffman Compressor и Static Haffman Decompressor, которые
реализуют 2 основных метода - Compress и Decompress.
// Класс, инкапсулирующий
логику компрессии по алгоритму
Хаффмана
publicclassStaticHaffmanCompressor
{
publicStaticHaffmanCompressor()
{
}
// Сжимает входной файл и записывает результат в выходной
// "inputFileName" - Имя входного файла для компрессии
// "outputFileName" - Имя выходного файла для компрессии
publicvoid Compress(stringinputFileName, stringoutputFileName)
{= newFileStream(inputFileName, FileMode.Open, FileAccess.Read);<byte,
int>frequenceTable
=
newDictionary<byte,
int>();<byte>
input
=
newList<byte>();
// Чтение входного файла и формирование таблицы частот
for (inti = 0; i<fileStream.Length; i++)
{b
=
(byte)fileStream.ReadByte();.Add(b);(frequenceTable.ContainsKey(b))[b]++;.Add
(b, 1);
}.Close();
// Запись таблицы частот в файл
fileStream
=
newFileStream(outputFileName,
FileAccess.Write);[]
byteN
16
FileMode.Create,
=
Converter.convertIntToByte(frequenceTable.Count);(inti
=
0;
i<
4;
i++).WriteByte(byteN[i]);(var pair infrequenceTable)
{[] b = Converter.convertIntToByte(pair.Value);.WriteByte(pair.Key);(inti =
0; i< 4; i++).WriteByte(b[i]);
}
// Запись в файл закодированной последовательности
Treetree
=
Tree.Create(frequenceTable);<byte,
string>charCodes
=
tree.Interpretate();code = newStringBuilder("");(inti = 0; i<input.Count; i++)
{.Append(charCodes[input[i]].ToString());
}
//
Запись
длины
последнего
байта.WriteByte(Convert.ToByte(code.Length% 8));= 0;= 1;(inti = 0, j = 0;
i<code.Length; i++, j = (j + 1)% 8)
{(code[i] == '1')
{+= pow;
}(j == 7)
{.WriteByte(newByte);= 1;= 0;
}
{*= 2;
}
}(code.Length% 8 != 0)
{.WriteByte(newByte);
}.Close();
}
}
}
// Класс, инкапсулирующий логику декомпрессии по алгоритму
Хаффмана
publicclassStaticHaffmanDecompressor
{
17
publicStaticHaffmanDecompressor()
{
}
// Разжимает входной файл, и записывает результат в выходной
// "inputFileName" - Имя входного файла для декомпрессии
// "outputFileName" - Имя выходного файла для декомпрессии
publicvoid Decompress(stringinputFileName, stringoutputFileName)
{= newFileStream(inputFileName, FileMode.Open, FileAccess.Read);<byte,
int>frequenceTable = newDictionary<byte, int>();
// Чтение таблицы частот из файла
byte[] byteN = newbyte[4];
for
(inti
=
0;
i<
4;
i++)[i]
=
(byte)fileStream.ReadByte();=
Converter.convertByteToInt(byteN);key;[] pair = newbyte[4];(inti = 0; i<tableSize;
i++)
{=
(byte)fileStream.ReadByte();(int
j
=
0;
j
<
4;
j++)[j]
=
(byte)fileStream.ReadByte();.Add(key, Converter.convertByteToInt(pair));
}
//Декомпрессия=
newStringBuilder("");tail
Tree.Create(frequenceTable);input
=
(byte)fileStream.ReadByte();(inti
=
=
0;
i<fileStream.Length - 1 - 4 - 5 * tableSize; i++)
{b = (byte)fileStream.ReadByte();((i == fileStream.Length - 2) && (tail !=
0))
{(int j = 0; j <= tail; j++)
{.Append((b% 2).ToString());/= 2;
}
}
{(int j = 0; j < 8; j++)
{.Append((b% 2).ToString());/= 2;
}
}
18
}.Close();= newFileStream(outputFileName, FileMode.Create);<byte>toFile
= tree.Recognize(input.ToString());.Write(toFile.ToArray(), 0, toFile.Count);
fileOutputStream.Close();
}
}
}
Также используется вспомогательный статический класс Converterдля
преобразования intв byte и обратно:
{
// Конвертирует четыре байта в целое число
// "key" - Массив из 4 байтов
// возвращает Целое число
publicstaticintconvertByteToInt(byte[] key)
{(key.Length
!=
4)("Неверный
аргумент
для
метода
convert
ByteToInt");key[0] + key[1] * 256 + key[2] * 65536 + key[3] * 16777216;
}
// Конвертирует целое число в массив из четырёх байтов
// "key" - Целое число
// возвращает Массив 4 байтов
publicstaticbyte[] convertIntToByte(int key)
{(key < 0)("Неверный аргумент для метода convert IntToByte");key1 =
key;[] b = newbyte[4];(inti = 0; i< 4; i++)
{[i] = (byte)(key1% 256);/= 256;
}
returnb;
}
}
}
19
Результат работы программы
Рис.3. Результат работы программы
Проведя серию данных, мы получили следующие коэффициенты
сжатия:
Маленький файл
Средний файл
doc
1,217
1,752
Bmp
3,278
3,083
20
Jpeg
1,0
1,0
Заключение
Из теоретических и экспериментальных данных можно сделать вывод,
что степень сжатия не зависит от размера файла (Исключение - когда файл
слишком маленького размера и модель кодирования сводит на нет весь
результат), а зависит лишь от частот появлений тех или иных символов во
входном файле. Если частота появления всех символов примерно одинакова
то сжатие не будет удачным, иначе можно ожидать хорошего сжатия. Также
стоит обратить внимание на файлы типа jpeg, которые не подвергаются
сжатию, так как уже представляют собой результат сжатия по Хаффману.
21
Список литературы
1. “Структуры данных и алгоритмы сжатия информации без потерь” Методическое пособие, Пантеллев Е.Р. - Иваново 2001г.
2.
“Алгоритмы: построение и анализ”, Кормен Т., Лейзерсон Ч., Ривест Р.,
Штайн К. - 2е издание, Издательский дом “Вильямс”, 2007г.
22