Представление видеоинформации

Представление видеоинформации в памяти компьютера.
В последнее время компьютер все чаще используется для работы с
видеоинформацией. Простейшим примером является просмотр кинофильмов
и видеоклипов, а также многочисленные видеоигры.
Что представляет собой фильм с точки зрения информатики? Прежде всего,
это сочетание звуковой и графической информации. Кроме того, для создания
на экране эффекта движения используется технология быстрой смены
статических картинок. Исследования показали, что если за одну секунду
сменяется более 10-12 кадров, то человеческий глаз воспринимает изменения
на них как непрерывные. В любительской киносъемке использовалась частота
16 кадров/сек., в профессиональной - 24.
На российском телевидении принят формат SECAM, базирующийся на 25
кадрах в секунду (24 кадра – графическая информация, 25-й кадр содержит
служебную информацию), разрешение экрана - 720х576, в европейских
странах в формат PAL заложена такая же частота и такое же разрешение.
Действующий в Северной Америке, Канаде, Японии, Мексике и некоторых
других странах, стандарт NTSC использует приблизительно 30 кадров (точнее
30000/1001) в секунду, что связано со значением частоты переменного тока
электрической сети. Разрешение экрана для этого стандарта составляет
720х480 пикселей.
Традиционный кадр на кинопленке выглядел так, как показано на рис.1.
Основную
его
часть
занимает
изображение, а справа сбоку отчетливо
видны колебания на звуковой дорожке.
Имеющаяся по обоим краям пленки
периодическая
система
отверстий
(перфорация) служила для механической
протяжки ленты в киноаппарате с
помощью специального механизма.
рис 1
При использовании традиционных методов сохранения в памяти компьютера
графической и звуковой информации электронная версия фильма получится
слишком большой. Например, для хранения 1 секунды видеоизображения без
звука с разрешением 1024  768 пикселей и 16-битном кодировании цвета
потребуется: 24  1024  768  16 бит = 301989888 бит = 36 МБ, а для записи
двухчасового фильма без звука 2  60мин  60сек  36 МБ  253 ГБ.
Следовательно, если для остальных видов информации сжатие лишь
повышает удобство работы, то для работы с видеоинформацией
использование технологии сжатия жизненно необходимо.
Для эффективного сжатия видеоинформации используют технологию
ключевых и разностных кадров. Первый кадр хранится целиком (в литературе
его принято называть ключевым), а в следующих сохраняются лишь отличия от
начального кадра (разностные кадры).
Например, если при смене кадров (рис. 2) происходит только небольшое
горизонтальное смещение прямоугольного объекта, то при этом на всей
площади кадра изменяются всего 2 небольшие зоны
(первая - сзади объекта - возвратилась к цвету фона, а
на второй - перед ним - фон перекрасился в цвет
объекта).
Для разноцветных предметов произвольной формы
эффект сохранится, хотя изобразить его будет заметно
труднее.
рис 2
Регулярное чередование ключевых и разностных кадров позволяет удалять
избыточность видеоизображения, связанную со слабым отличием соседних
кадров. В современных методах сохранения движущихся видеоизображений
используются и другие типы кадров.
Существует множество различных форматов представления видеоданных. В
среде Windows, например, уже более 10 лет (начиная с версии 3.1)
применяется формат Video for Windows, базирующийся на универсальных
файлах с расширением AVI (Audio Video Interleave - чередование аудио и
видео). Суть AVI файлов состоит в хранении структур произвольных
мультимедийных данных – контейнеров, каждый из которых содержит свой тип
информации (видеоданные, аудиоданные, служебные – субтитры, логотип и
т.д.) и сжимается соответствующими алгоритмами, эффективными именно для
такого вида данных. Соединение графики, звука, субтитров и т.д. происходит
непосредственно перед показом (синхронизация данных).
Файл представляет собой единый блок, причем в него, как и в любой другой
блок, могут быть вложены новые блоки. Идентификатор блока определяет тип
информации, которая хранится в блоке.
Таким образом, все AVI-файлы только внешне выглядят одинаково, а внутри
могут различаться очень существенно.
Еще более универсальным является мультимедийный формат Quick Time,
первоначально возникший на компьютерах Apple. По сравнению с описанным
выше, он позволяет хранить независимые фрагменты данных, причем даже не
имеющие общей временной синхронизации, как этого требует AVI. В
результате в одном файле может, например, храниться песня, текст с ее
словами, нотная запись в MIDI-формате, способная управлять синтезатором, и
т.п. Мощной особенностью Quick Time является возможность формировать
изображение на новой дорожке путем ссылок на кадры, имеющиеся на других
1
дорожках. Полученная таким способом дорожка оказывается несоизмеримо
меньше, чем если бы на нее были скопированы требуемые кадры. Благодаря
описанной возможности файл подобного типа легко может содержать не
только полную высококачественную версию видеофильма, но и специальным
образом "упрощенную" копию для медленных компьютеров, а также рекламный
ролик, представляющий собой "выжимку" из полной версии. И все это без
особого увеличения объема по сравнению с полной копией.
Все большее распространение в последнее время получают системы сжатия
видеоизображений, допускающие некоторые незаметные для глаза искажения
изображения с целью повышения степени сжатия. Наиболее известным
стандартом подобного класса служит MPEG (Motion Picture Expert Group),
который разработан и постоянно развивается созданным в 1988 году
Комитетом (группой экспертов) международной организации ISO/IEC
(International Standards Organization/International Electrotechnical Commission) по
стандартам высококачественного сжатия движущихся изображений.
Методы, применяемые в MPEG, непросты для понимания и опираются на
достаточно сложную математику. Укажем лишь наиболее общие приемы, за
счет которых достигается сжатие:
1) обрабатываемый сигнал из RGB-представления с равноправными
компонентами преобразуется в YUV-представление (яркость и две
"координаты" цветности). Как показывают эксперименты, цветовые компоненты
менее важны для восприятия и их можно проредить вдвое.
2) производится специальное математическое преобразованое (DCT дискретно-косинусное преобразование), несколько загрубляющее изображение
в мелких деталях. Из экспериментов следует, что на субъективном восприятии
изображение это практически не сказывается.
3) специальными методами (в том числе и методом ключевых и разностных
кадров) ликвидируется сильная избыточность информации, связанная со
слабыми отличиями между соседними кадрами.
4) полученные в результате всех описанных процедур данные дополнительно
сжимаются общепринятыми методами, подобно тому, как это делается при
архивации файлов (например, с использованием алгоритма Хаффмана).
Важной характеристикой для сжатия видео является параметр Data Rate
(величина потока – количество бит для записи 1 секунды видеоинформации).
Чем этот параметр больше, тем выше качество, но и размер сжатого файла
будет больше. Data Rate измеряется в битах (или байтах) в секунду. В VideoCD
величина потока постоянна и равна 1150 килобит/с. Поток приблизительно
можно оценить, если разделить размер видеофайла на его длительность (при
этом не учитывается звуковой поток).
В последнее время все большее распространение получает технология под
названием DivX (Digital Video Express). Благодаря DivX удалось достигнуть
степени сжатия, позволившей вмесить качественную запись полнометражного
фильма на один компакт-диск - сжать 4,7 Гб DVD-фильма до 650 Мб (к
сожалению, это достижение чаще всего используется для пиратского
копирования).
Наиболее популярные программы проигрывания видеофайлов позволяют
использовать замещаемые подсистемы сжатия и восстановления видеоданных
- кодеки (от англ. compression/decompression - codec).
Такой подход позволяет легко адаптировать новые технологии, как только те
становятся доступными. Замещаемые кодеки хороши как для пользователей,
так и для разработчиков программного обеспечения. Тем не менее, большое
разнообразие кодеков создает определенные трудности для производителей
видеопродукции. Часто в качестве выхода из создавшегося положения
необходимые кодеки помещают на компакт-диск с фильмами или даже
поставляют видеоматериалы в нескольких вариантах, предоставляя тем
самым возможность выбрать подходящий. Все больше распространяется
автоматизация распознавания, когда плейер, обнаружив информацию об
отсутствующем кодеке, загружает его из Интернета.
Видеоформаты:
VHS - аналоговое видео, это формат записи на видеокассетах.
DV (Digital Video) - это видеоформат, разработанный совместно ведущими
мировыми компаниями-производителями видео для цифровой записи. Этот
формат имеет малый коэффициент сжатия видеосигнала (5:1) и дает высокое
качество видеосъемки. В этом формате снимают видео MiniDV-камеры. DV
формат характеризуется большим видеопотоком и, соответственно, имеет
большой выходной видеофайл. Часовая запись на MiniDV кассету, будет иметь
объем примерно 12 Гб, 1 мин  200 Мб. Полученное видео нужно сжать для
последующего просмотра на компьютере, проекторе, DVD-плейере, в
Интернете. Т.е. из полученного выскококачественного видео мы можем
получить любой нужный нам формат соответствующего качества.
MPEG - один из основных стандартов сжатия. Его разновидности:
MPEG-1 - формат сжатия для компакт-дисков (CD-ROM). Качество видео - как у
обычного видеомагнитофона, разрешение 352х240, диск с фильмом в таком
формате обычно обозначается VCD (VideoCD). Стандарт разработан в 1992
году с учетом возможностей 2-х скоростных CD-ROM и 486 компьютеров
MPEG-2 - формат для DVD-дисков, цифрового TV и HDTV. В этом формате
снимают видео DVD-, HDD-, Flash-камеры. Стандарт принят в 1994 году.
Первично разрабатывался для цифровой передачи видео вещательного
качества.
MPEG-3 – стандарт предназначался для телевидения высокой чёткости
HDTV(high-defenition television) со скоростью потока данных 20-40 Мбит/с, но
позже стал частью стандарта Mpeg2 и теперь отдельно не упоминается.
2
MPEG-4 - это стандарт, рассчитанный на очень низкие потоки данных для
применения в видеотелефонах, мультимедийной электронной почте,
электронных информационных изданиях и т.п.. Получается с помощью
известных кодеков DivX, XviD, H.264 и др. Часто его называют просто MP4.
Уменьшает видеопоток еще сильнее, чем MPEG-2, но картинка еще
приличного качества, поэтому этот формат поддерживает большинство
современных DVD-плееров.
DivX (Digital video express) - кодек стандарта Mpeg4. С Версии 5 стал платным
(для кодирования).
Xvid (ранее XviD) - библиотека сжатия видео стандарта Mpeg4, является
основным конкурентом кодека DivX Pro (Xvid это DivX наоборот). В
противоположность кодеку DivX - проприетарному программному обеспечению,
разработанному компанией DivX, Inc., Xvid это свободная программа,
распространяемая под лицензией GNU General Public License.
Для сравнения: фильм длительностью 1,5 часа в формате DV занимает
примерно 20 Гб, в MPEG-2 - 4,7 Гб (помещается на DVD-диск), в формате
MPEG-4 - 700 Мб (помещается на CD-диск).
HD (High Definition) - формат высокого разрешения, новый формат особой
четкости изображения. Имеет две разновидности: HD1 с разрешением
1280х720 и HD2 - 1440х1080.
Для просмотра видео в формате HD, нужно иметь соответствующее
оборудование (например, ЖК или плазменный телевизор с большой
диагональю, иначе оценить качество видео будет невозможно).
AVI (Audio-Video Interleaved) - это расширение огромного количества
видеофайлов, но не является форматом или кодеком. Это контейнер,
разработанный Microsoft, в котором могут храниться потоки 4-х типов - видео,
аудио, текст и midi.
В этот контейнер может входить видео любого формата от mpeg1 до mpeg-4,
звуки разных форматов, возможно любое сочетание видео- и аудиокодеков.
Чтоб определить содержимое данного контейнера, нужно воспользоваться
одной из многочисленных программ от мощной Adobe Premiere до простенькой
VideoToolBox.
WMV (Windows Media Video) - это формат от Microsoft, именно в нем
записывается видеоролик, сделанный с помощью Movie Maker.
3gp (3-rd generation (mobile) phone) - видео для мобильных телефонов третьего
поколения, имеют малый размер и низкое качество.
Форматы видео, которые применяются в Интернете:
FLV (Flash Video) - формат видео для размещения и передачи в Интернете,
используется такими сервисами, как YouTube, RuTube, Tube.BY, Google Video,
Муви и многими другими. Описание формата контейнера было открыто, но
кодеки защищены патентами, и остаются собственническими.
Файлы в формате FLV можно просматривать в большинстве операционных
систем, поскольку он использует широко распространённый Adobe Flash и
плагины к большинству браузеров, а также поддерживается многими
программами для воспроизведения видео, например, MPlayer, VLC media
player, Media Player Classic) и другими программами, работающими с помощью
DirectShow.
Основная цель применения нового стандарта - эффективный поиск
мультимедийной информации аналогично тому, как сейчас мы осуществляем
поиск текстов по ключевым словам или фразе. Например, сыграв несколько
нот на клавиатуре, можно получить список музыкальных произведений,
которые содержат такую последовательность звуков; задав соответствующий
объект и его движение, можно получить набор видео или анимационных
роликов, в которых данный объект присутствует.
SWF (Shockwave Flash) - это расширение анимации созданной в программе
Adobe Flash, а также видео в формате flash, проигрывается браузерами с
помощью Flash Player. Флеш-ролики тоже широко распространены в Интернете.
RealVideo - формат, созданный компанией RealNetworks. RealVideo
используется для живой телевизионной трансляции в Интернете. Например,
телекомпания CNN одной из первых стала вещать в Сети. Имеет маленький
размер файла и низкое качество, зато позволяет посмотреть, например,
выпуск теленовостей на сайте определенной телекомпании. Расширения RM,
RA, RAM.
MOV - формат Apple Macintosh QuickTime, может содержать любой кодек, CBR
или VBR, , расширение .QT или .MOV, кроме видео может содержать также
графику, анимацию, 3D. Чаще всего для проигрывания этого формата нужен
QuickTime Player.
MKV - (Матрешка или Matroska) - тоже контейнер, который может содержать
видео, аудио, субтитры, меню и пр. Имеет открытый код, пока не очень
распространен, но очень перспективен.
3