Для реализации мультимедиа компьютер должен быть оснащен следующими компонентами:
§ Аппаратными средствами, реализующими доступ к мультимедиа-данным, их создание и воспроизведение — иными словами Мультимедийным аппаратным обеспечением. К подобным средствам относятся, в частности: звуковая подсистема компьютера в составе аудиоадаптера (звуковой карты) и звуковых колонок, а также хорошая видеосистема — высококачественный монитор и видеоадаптер со встроенным графическим акселератором (графическим сопроцессором) GeForcе.
§ Программными средствами, обслуживающими доступ, создание и воспроизведение мультимедиа-файлов, а также обеспечивающими управление воспроизводящими их аппаратными средствами — то есть Мультимедийным программным обеспечением. В состав этого обеспечения обычно входят разнообразные программы-проигрыватели аудио-, видео- и других медиа-файлов, программы синтеза аудио- и видео-файлов и программные средства разработки комплексных медиа-документов.
§ Носителями информации, содержащими мкльтимедиа-данные, — то есть Хранилищами мультимедиа-файлов. Хранение медиа-информации мало чем отличается от хранения обычных цифровых данных. По этим причинам практически любые устройства внешней памяти могут быть использованы для долговременного или кратковременного хранения медиа-данных.
Рассмотрим особенности хранения и воспроизведения аудио- и видео-сведений, являющихся основными мультимедиа-данными в современных вычислительных системах.
Хранение и воспроизведение аудиофайлов. Любой современный мультимедийный компьютер имеет в своем составе аудиосистему, включающую звуковую карту и акустические колонки. С помощью звуковой карты осуществляется преобразование дискретной фонограммы, хранящейся в аудио-файлах, в непрерывный аналоговый сигнал, аналогичный сигналу, поступающему от микрофона, который далее подается через усилитель на колонки. Акустические колонки и обеспечивают окончательное преобразование выходного электрического сигнала звуковой карты в акустические колебания. Для синтеза звука применяются следующие методы:[26])
§ DA-синтез, реализующий цифроаналоговое преобразование (Digital-Analog Conversion) оцифрованных аудио-волн. Оцифровка происходит путем аналого-цифрового преобразования звуковых колебаний, когда эти колебания через равные промежутки времени измеряются и полученные отсчеты преобразуются в цифровую форму и сохраняются на носителе информации в формате .cda. Чтобы сохранить возможность однозначного восстановления аудио-сигнала по полученным отсчетам, частота их взятия должна быть более чем в два раза выше наивысшей частоты звуковых колебаний, образующих преобразуемый аудио-фрагмент. Это требование следует из теоремы, известной как теорема отсчетов или теорема Котельникова.[27]) Учитывая также тот факт, что человеческое ухо слышит звуковые колебания частотой не более 20000 Гц, оцифровка звука обычно производится с частотой дискретизации 44100 Гц.
§ WT-синтез, когда для воспроизведения аудио-фонограммы используется специальная таблица волн (Wave Table) и акустический сигнал формируется из аудио-файлов (с расширением .wav) как сумма соответствующих амплитудно-модулированных волновых составляющих.
§ FM-синтез, основанный на частотной модуляции (Frequency Modulation)звукового колебания, когда акустический сигнал, воспроизводящий голос какого-либо инструмента, формируется путем модуляции частоты основного тона этого инструмента с целью создания спектра других частот-обертонов, входящих в состав воспроизводимого звукового фрагмента. Метод FM-синтезав основном используется при воспроизведении MIDI-файлов.
§ MIDI-синтез, при котором аудио-файл (формата .mid) представляет собой не оцифрованный звук, а некоторую «оркестровую» программу воспроизведения музыки, состоящую из набора музыкальных команд, задающих вид цифрового музыкального инструмента MIDI (Musical Instruments Digital Interface) и воспроизводимые им ноты. При воспроизведении задействуются образцы звучания соответствующих цифровых инструментов, хранящиеся в памяти MIDI-совместимых звуковых карт.
§ MPEG-синтез, когда аудио-файл представляет собой компактный набор цифровых данных (формат .mp3), полученных после сложного многоэтапного преобразования звуковых колебаний. Коэффициент сжатия этого метода по сравнения с .wav-файлами составляет от 6 : 1 до 12 : 1.
Примечание.
Коэффициент сжатия определяет соотношение объемов, занимаемых аудио-файлами соответствующих форматов (.mp3и .wav), при одной и той же исходной аудио-фонограмме.Сжатие звука в 6 … 12 раз в случае с форматом .mp3возможно только благодаря особенностям человеческого восприятия звука — человек обычно не способен различить одновременно или почти одновременно звучащие близкие по частотам, но сильно отличающиеся по громкости звуки. Это позволяет не кодировать слабые звуки в присутствии громких звуковых сигналов.
Хранение и воспроизведение видеозаписи. Сетчатка человеческого глаза обладает инерционными свойствами, то есть яркое изображение, быстро появившееся на сетчатке, остается на ней несколько миллисекунд, прежде чем угаснуть. Это означает, что когда последовательность одинаковых или близких изображений появляются и исчезают с достаточно высокой частотой, то тогда газ человека не заметит, что он смотрит дискретные изображения. Известно, что частота, при которой глаз перестает замечать мигание яркости источника света (изображения), составляет около 50 Гц. Именно на этом свойстве человеческого глаза и строится принцип действия телевизионных и компьютерных видеосистем.
Любой видеофрагмент, видео-клип представляет собой последовательность графических кадров, которые при воспроизведении должны выводиться на экран монитора со скоростью более 50 кадров в секунду, чтобы человеческий глаз не видел мерцания изображения. В этом случае прямое сохранение видео-клипа в виде множества последовательных изображений-кадров приводит к появлению чрезмерно больших объемов видео-файлов даже относительно коротких по времени видео-роликов. Чтобы уменьшить объемы подобных видео-файлов используются методы сжатия видеоинформации. В видеофильмах имеется избыточность данных двух типов — пространственнаяи временная.[28])
§ Пространственная избыточность устраняется путем кодирования каждого кадра отдельно с использованием специального алгоритма сжатия неподвижных изображений JPEG (Joint Photography Expert Group),разработанного Объединенной группой экспертов по машинной обработке фотоизображений. Для уменьшения объема исходного растрового многоцветного изображения этот алгоритм учитывает особенности человеческого глаза как разная чувствительность к яркости и цветности изображения, а также осуществляет ряд специальных математических преобразований над данными. В конечном итоге исходный объем изображения может быть уменьем более чем в 20 раз.
§ Временная избыточность связана в основном со схожестью соседних кадров друг с другом.. Это проявляется в том, что зачастую последовательно идущие кадры во многом идентичны и нет необходимости хранить каждый кадр целиком (хотя и закодированный по стандарту JPEG), а достаточно хранить только изменения изображения данного кадра относительно предыдущего и/или последующего кадра.