рефераты конспекты курсовые дипломные лекции шпоры

Реферат Курсовая Конспект

МУЛЬТИМЕДИА ТЕХНОЛОГИЯ

МУЛЬТИМЕДИА ТЕХНОЛОГИЯ - Лекция, раздел Высокие технологии, Министерство Образования Российской Федерации «Мультимедиа Т...

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

«МУЛЬТИМЕДИА ТЕХНОЛОГИЯ»

Специальность 071900 «Информационные системы и технологии»

 

ТЕМАТИЧЕСКИЙ ПЛАН ЛЕКЦИОННОГО КУРСА

 

№№ п.п. Содержание тем Кол-во часов
Основные сведения о мультимедиа
Оптические диски: принципы, устройство, перспективы
MP3- и MD-плееры
Звуковые карты
Технология создания позиционируемого 3D-звука
Технологии обработки графической информации
Современные графические акселераторы
Видеоконференции
Всего (часов):

 

 

ТЕМА 1. ОСНОВНЫЕ СВЕДЕНИЯ О МУЛЬТИМЕДИА

Направления, применение

Это понятие опpеделяет инфоpмационную технологию на основе пpогpаммно-аппаpатного комплекса, имеющего ядpо в виде компьютеpа с сpедствами… Решаемые задачи охватывают все области интеллектуальной деятельности: науку и… В наше вpемя наиболее успешно pешены вопpосы воспpоизведения Мультимедиа-инфоpмации. Созданием мультимедиа-пpодуктов…

История развития мультимедиа-технологии

Развитие компьютеpных тpенажеpов и компьютеpных игp тpебующих анимации сложных изобpежаний в pеальном вpемени звукового сопpовождения для имитации…

Типы данных мультимедиа-информации и средства их обработки

Мультимедиа-инфоpмация содеpжит не только тpадиционные статистические элементы: текст, гpафику, но и динамические: видео-, аудио- и анимационные… Неподвижные изображения. Сюда входят вектоpная гpафика и pастpовые каpтинки;… Анимация. Microsoft пpизнало достижение линии Apple в этой области и включило в Multimedia Windows сpедства…

Инфостудия

Задачей инфостудии является создание необходимой оpганизационной, технической и технологической сpеды для совместной pаботы художников,… Обоpудование инфостудии длится на видео- и компьютеpное обоpудование.… Компьютеpное обоpудование пpедставляет собой pяд специализиpованных pабочих мест, pаботающих в компьютеpной сети. Сеть…

Применение мультимедиа технологий

Очень большие пеpспективы пеpед мультимедиа в медицине: базы знаний, методики опеpаций, каталоги лекаpств и т.п. В сфеpе бизнеса фиpма по пpодаже… Быстpо возникают фиpмы, специализиpующиеся на пpоизводстве изданий… Сpеди известных пpодуктов "энциклопедического" плана - изданный во Фpанции обществом Act Informatic…

Мультимедиа в корпоративной среде

Необходимы стандарты, чтобы средства сжатия можно было покупать, комбинировать и интегрировать, не идя при этом на значительные расходы. Такие… Если говорить о требованиях к памяти, для файлов мультимедиа обычно приходится… Сетевая среда способствует совместному использованию ресурсов - средств программирования мультимедиа, устройств с…

Типы секторов

Все остальные типы секторов имеют одинаковое начало: 12 байтов синхронизации (00h, 10 байт FFh, 00h) и четырехбайтовый заголовок. Оставшиеся 2336… Принятая в 1985 году Желтая книга определила CD-ROM, а позднее дополнилась и… Для обеспечения повышенной достоверности в секторе Желтой книги первого вида (будем называть его сектором второго…

Форматы CD

Самый старый формат - CD-DA - аудиодиск: единственный сеанс, следовательно, одна заголовочная и одна финальная область, между которыми находятся… Следующий по времени - CD-ROM: также единственный сеанс, одна заголовочная… Смешанный диск (Mixed Mode) содержит в единственном сеансе дорожки CD-DA и CD-ROM. Обычный накопитель должен отключать…

Что и как можно записать на компакт диск?

· CD-ROM - стандартный тип для записи на диск данных (программ и файлов). Часто обозначается как ISO 9660. Данные могут быть записаны в формате… · Audio CD (CD-DA) - стандартный тип записи музыки на CD. Наиболее… · Multisession CD-ROM - отличается от п.1 возможностью записи нескольких сессий, которые могут быть связанными или…

Загрузочные диски

Для загрузки с CD необходимо, чтобы эту возможность поддерживал BIOS. В случае с IDE/ATAPI CDROM устройством это BIOS материнской платы, для SCSI… При создании загрузочного CD на нем кроме собственно содержимого записываются… Подробное описание технологии выходит за рамки этой статьи, однако рекомендации, а также все необходимые утилиты и…

Методы записи: Track-at-Once, Disc-at-Once, и Packet Writing

Эти методы: § Track-at-Once (включая Variable-Gap Track-at-Once) § Disc-at-Once (включая Session-at-Once)

Файловые системы и имена файлов

  Файловая система/имена файлов   Операционная система DOS/Windows 3.1 Windows 95 NT 3.51…   * короткие имена FILENA~1.TXT или длинные с патчем для Linux

Joliet это расширение стандарта ISO 9660, разработанное Microsoft для Windows 95 для возможности записи на CD файлов с длинными именами (также допускает использование символов Unicode). Если Вы будете использовать эту опцию, можно использовать имена длинной до 64 символов, включая пробелы. Обратите внимание, что для чтения Joilet дисков под DOS или Windows 3.1 программа записи должна также записывать и короткие DOS-имена, однако большинство программ это делают. Версии Windows NT до 3.51 build 1057 не поддерживают чтение длинных имен файлов Joliet. Windows NT 4.0 полностью поддерживает Joliet.

Если нужно записать максимально совместимый со стандартом ISO 9660 диск, используйте следующие правила:

 

· имя файла содержит не более восьми d-characters.

· расширение имени файла содержит не более трех d-characters.

· имя директории содержит не более восьми d-characters.

· d-characters: заглавные от A до Z, цифры от 0 до 9, символ подчеркивания ( __ )

Другие файловые системы

ISO-9660 Level 2.

Этот стандарт, в отличие от Level 1, допускает длинные имена и до 32 уровней вложенности директорий. Однако он не читаем в некоторых операционных системах, например DOS.

ISO-9660 Level 3.

Этот то, что получится после закрытия диска (и, следовательно, записи его TOC), на который писали в UDF, например с использованием DirectCD. В отличие от остальных ISO допускает фрагментирование файлов при записи.

Rock Ridge.

Rock Ridge является расширением ISO-9660 для UNIX-подобных ОС. Допускает длинные имена со смешанным регистром символов и symbolic links. Поскольку он остается совместимым с ISO-9660, то файлы могут быть прочитаны и в других системах, но уже без длинных имен. Этот стандарт поддерживается UNIX и Mac. На текущий момент в DOS и Windows не поддерживается.

HFS.

HFS это файловая система, используемая в Macintosh. Она используется вместо ISO-9660, и таким образом не работает на системах без поддержки HFS. Сегодня единственные платформы, на которых возможно чтение HFS дисков, это Macs, Amigas (со специальной программной поддержкой AmiCDROM) и Apple IIgs. Некоторые программы записи CD дисков могут создавать смешанные (hybird) CD на которых есть как ISO-9660, так и HFS файловые системы.

Romeo.

Опция записи в программах Easy-CD 95 и Easy-CD Pro 95, которая позволяет использовать в именах файлов до 128 символов, включая пробелы. Этот вариант не является частью стандарта Joilet, не поддерживаются символы Unicode и нет сопоставления коротких имен для DOS. Длинные имена Romeo могут быть прочитаны только под Windows 95, Windows NT 3.51 и Macintosh (если имена короче 31 символов). Также при записи для максимальной совместимости имена файлов и директории преобразуются в верхний регистр.

ISO/IEC 13346 и ISO/IEC 13490.

Эти стандарты приходят на замену ISO-9660, однако до их широкого распространения еще долго.

Устройства записи

2.17. DVD: диски, проигрыватели, рекордеры После долгого периода времени, потраченного на планирование и разработки,… Первоначально аббревиатура DVD расшифровывалась, как digital video disc, это оптические диски с большой емкостью. Эти…

Основы устройства DVD

Основное требование, при разработке DVD, было простым: увеличить емкость хранимых данных, за счет расположения как можно большего числа насечек… Результатом исследований стала разработка более высокочастотного…  

Множество поверхностей DVD

    Single Side/Single Layer (односторонний/однослойный): это самая простая структура DVD диска. На таком диске можно…       Single Side/Dual Layer (односторонний/двуслойный): этот тип дисков имеет два слоя…

Скорость передачи и время доступа

Соль в том, что видео на DVD прокручивается приблизительно с 9-ти кратной скоростью, в то время, как видеопрограммы на CD обычно рассчитаны на 2-х… Сейчас на рынке уже появились устройства чтения DVD дисков второго поколения,… Практически не изменилось положение только с одним важным параметром, влияющем на производительность: время доступа,…

Запись на DVD

Устройства DVD-RAM позволят Вам перезаписывать диски DVD-RAM много раз и первые образцы уже начали появляться на рынке. В нашей тестовой лаборатории… Устройства DVD-R позволяют сделать лишь однократную запись. Кстати, с обоими… Но есть один нюанс: стандартные DVD-R и DVD-RAM диски могут хранить лишь 3.95GB и 2.58GB данных на каждой стороне…

Звук на DVD

Если Вы были в современном кинотеатре или видели рекламу о звуке домашнего театра, то можете представить, о чем идет речь. В большинстве современных… В отличии от стандарта Dolby ProLogic, многоканальный стандарт записи звука… Запись звука по стандарту AC-3 дает возможность создателям звукового ряда для фильмов, после использования различных…

Совместимость и защита авторских прав

Основной вопрос о совместимости прост: какое устройство DVD с каким компьютером работает? Устройства, которые предлагают Diamond и Creative Labs используют для считывания видеоданных технологию chroma-key. Вы можете установить их проигрыватели в любой компьютер на основе процессора Pentium-90 (или более мощном) с оперативной памятью 16 Мб и наличием 4 Мб свободного дискового пространства.

Устройство компании Hi-Val работает с любым компьютером на основе Pentium-133 (или более мощном), который оснащен видеоадаптером, поддерживающим спецификацию DirectDraw -- таким образом Hi-Val не может работать со старыми видеоплатами.

Сегодня, главная проблема - это совместимость с дисками DVD-RAM. Так такие диски размещаются в специальных картриджах, на манер магнитооптических дисков, то в обычный DVD-ROM проигрыватель они просто не помещаются. Правда, имеется информация, что производители просто углубят лоток у обычных DVD-ROM плейеров, как это сделано у устройств DVD-RAM. Так что, если вы планируете использовать диски DVD-RAM, но само устройство для их записи вам не нужно, стоит немного повременить с покупкой обычного считывающего DVD-ROM. Не исключено, что все изменится в лучшую сторону, причем, возможно, уже к осени.

Благодаря возможности DVD создавать отличные цифровые копии фильмов, кинокомпании подготовили комплекс мер по защите авторских прав. Основная их часть - это кодирование (шифрование) видеоданных, размещаемых на DVD, которые должны расшифровываться перед выводом изображения на экран -- что означает, в свою очередь, увеличение нагрузки на процессор для выполнения операции по дешифрованию.

Сейчас, наибольшее распространение получил такой способ защиты, как запись DVD диска для специальной зоны. В общем, весь мир поделили на 6 зон, и если у вас проигрыватель для первой зоны, то вы не сможете посмотреть на нем фильм, записанный для второй зоны. Правда, уже есть способы, изменить настройки аппаратуры, а в некоторых случаях, можно превратить плейер в мультизонный. А вот и сам список зон:

1. Северная Америка

2. Япония, Европа, Средний Восток, Южная Африка

3. Юго-восточная Азия (включая Гонконг)

4. Австралия, Новая Зеландия, Центральная и Южная Америка

5. Северо-западная Азия (Россия), Северная Африка

6. Китай

Остальные меры сводятся к применению в большинстве проигрывателей специальной электроники, которая должна препятствовать копирования фильма на видеомагнитофон. Этот способ защиты самый неприятный, т.к. похоже, что производители хотят контролировать процесс выпуска фильмов и их продажу. В результате, некоторые программы, купленные в одной части мира, могут не проигрываться на устройствах DVD, купленных в другой части мира.

 


 

ТЕМА 3.

MP3- И MD-ПЛЕЕРЫ

Классификация

 
 

MD-плеер от Saehan MPMAN F20; недавно появился MPIO от Daewoo, но наиболее популярным остается самый раскрученный Rio от Diamond. Кстати, Daewoo MPIO - пожалуй, самый универсальный аппарат из всех существующих MP3-плееров: его можно использовать как цифровой диктофон, FM-тюнер и даже как цифровую камеру (при подключении дополнительного модуля). Цены на эти MP3-плееры находятся в рамках $150-180.

Но все эти три плеера имеют один большой недостаток: в стандартной комплектации с 32 Мегабайтами памяти они могут хранить только 30 минут музыки приемлемого качества (128 Кбит/сек). Дополнительная память 32 стоит около $130, и все вместе хватит только на час музыки. Это даже хуже, чем обычный CD: продолжительность до 74 минут, а портативный CD-плеер сейчас можно найти и за $50. Причем качество звука будет намного лучше, чем у тех же MP3-плееров.

А представьте такую ситуацию: Вы, например, отправляетесь из Москвы в Питер на поезде. Вы можете загрузить в свой Rio 30(60) минут музыки, но поездка займет более шести часов! Вы послушаете свою музыку раз - два - но на третий раз она Вам окончательно надоест, и Вы с досадой вынете наушники из ушей и отложите свой MP3-плеер в сторонку. И Вы подумаете: «Вот если бы эти 32-х Мб карты памяти стояли не $130, а $5 каждая, вот тогда я бы взял их с собой штук пять и наслаждался бы разнообразной музыкой». Но Вы можете мне возразить: «Я бы мог взять с собой свой Notebook и загружать с него все новые песни». Но зачем же Вам тогда портативный MP3-плеер Rio, когда можно слушать MP3-файлы с помощью WinAmp'а на самом Notebook'е?

 
 

Даже с портативным дискменом таких проблем бы не возникло: берите с собой десяток любимых компакт-дисков и меняйте их когда захотите.

Кстати, цены на дискмены упали сейчас до очень привлекательного уровня: например, можно найти приличный CD-плеер с цифровым FM/AM радио-тюнером и анти-шоком чуть дороже $100! Но мы не будем здесь сравнивать CD-плееры c MP3-плеерами, потому что это аппараты совсем разных классов, как по применению, так и по размерам (CD-плееры трудно назвать компактными, но во многих случаях именно CD-плеер - идеальный выбор).

У MP3-плееров есть давний конкурент, о котором Вы наверняка слышали: минидисковые плееры.

Вы, возможно, слышали о МИНИДИСКе, что это умирающий формат, что за ним нет будущего... Но давайте перед тем, как опровергнуть это утверждение, я расскажу Вам историю.

История портативной аудиотехники

Развитие портативной аудиотехники шло от аналоговых технологий к цифровым, а кассетный плеер не может быть полностью цифровым. Сама запись на… Здесь, кстати, разница в развитии портативной и стационарной аудиотехники.… Итак, иметь кассетный плеер стало сейчас консервативным и непрестижным. Кассетным плеером Вы не удивите в наши дни…

Выводы

Цель этого обзора была ни в коем случае не «опустить» MP3 как формат звуковоспроизведения. Это широко популярный формат, практически универсальный для компьютерного применения.

Но когда он внедряется в другие оторванные от компьютера сферы, где более важно качество звучания, он сталкивается с более подходящими для них аудио-форматами. В портативной аудиотехнике достойное место занимают минидисковые плееры, которые в настоящее время предлагают и лучшую функциональность, и лучшее звучание.

Кто победит в этой конкурентной борьбе в будущем? Это зависит от активности маркетинговой политики компаний-производителей. Уровень цен - один из главных факторов, влияющий на спрос и в конечном счете на успех на рынке.

Если цены на MD-рекордеры опустятся до $150 и сравняются с ценами на простенькие MP3-плееры с маленьким объемом памяти, то, я думаю, MP3-плееры просто никто не станет покупать. Исключая, конечно, тех, кто не знает, что такое МИНИДИСК.

 


 

ТЕМА 4. ЗВУКОВЫЕ КАРТЫ

История звуковых карт

Интересно, что за более чем 10 лет истории персональных компьютеров, устройство динамика практически не изменилось.В разных моделях компьютеров он… В то время как разрешение графических адаптеров росло (320х200, 640х200,… 4.2. Первые "бластеры"

Основные принципы работы

В общем случае IBM РС-совместимые компьютеры имеют несколько возможностей для воспроизведения звука с использованием звуковой карты. Выбор… Ну и, пожалуй, не менее распространенным способом воспроизведения звука с… 4.5. Звуковые платы с волновым синтезом

Yamaha

Специалисты этой фирмы, видимо, уже осознали перспективы развития рынка и решили уйти из сектора дешевых плат, совместимых с Sound Blaster. Последний их продукт в этой области - OPL-4 (интегрированный волновой и FM -синтезатор) остался без широкой поддержки со стороны независимых производителей. Это не значит, что OPL-4 - плохой синтезатор. Имеется несколько отличных звуковых плат, которые его используют, в том числе знаменитый SoundTrix Pro фирмы MediaTrix. Звуковая плата Sound Edge SW20 тоже хорошо известна Российским пользователям.Однако главный козырь компании Yamaha в 1997 т. - это профессиональная технология расширенного волнового синтеза AWM-2 и новый Mid-формат XG. Уже многие разработчики игр и мультимедиа приложений объявили о поддержке XG-формата, что сулит ему радужные перспективы.

Дочерняя плата типа Wave Blaster - Yamaha DB5OXGпризнана одной из лучших в 1996 г., и сейчас многие пользователи считают ее эталоном по качеству звучания Midi-музыки. Аббревиатура “XG” означает,что плата поддерживает новый стандарт-Extended General Midi. Технические характеристики YamahaDB50XG:

§

 
 

676 инструментов и 21 комплект ударных, сжатые в 4-Мбайт ОЗУ.

§ 32-голосная полифония, 16 Mid-каналов, волновой синтез AWM-2.

§

 
 

Поканальный эффект-процессор: 11 типов реверберации, 11 типов хоруса, 42 типа вариаций.

§ Совместимость: General Midi, XG и Wave Blaster.

 
 

Yamaha SW6OXGпрактически во всем аналогична B50XG, но выполнена в виде отдельной ISA-платы. На ней реализована еще одна уникальная возможность - вы можете микшировать через SW60 любой внешний источник звука (в том числе с микрофона или с другой звуковой платы) и обрабатывать его с помощью мощного эффект-процессора, накладывая до трех эффектов одновременно. В остальном характеристики SW60 во всем повторяют 0650, но есть одна существенная неприятность, которая очень расстроила наших специалистов. Несмотря на 18-битные аудиоконвертеры, плата дает ощутимый шумовой фон, что несколько умаляет возможности ее профессионального использования.

Зато SW60 вообще не требует для себя каких-либо IRQ- и DМА-ресурсов, благодаря чему можно установить до четырех плат в один компьютер, получив в результате 128-голосную полифонию и мощный конвейер для обработки эффектов. Известно, что Yamaha разрабатывает новую плату - SW70XG,в которой, вероятно, появится возможность подгружать внешние звуки и инструменты. Однако более конкретной информации пока нет.

AVM Technology, Inc.

Характеристики музыкального модуля AVM Summit: § Волновой синтезатор: Kurzweil MASS. «Библиотека инструментов (ПЗУ): 6 Мбайт… § 32-голосная полифония, 16 MIDI-каналов.

Turtle Beach Systems

Начиная с 1991 г., когда компания разработала первую профессиональную звуковую плату семейства Multisound, и до сегодняшних дней платы Turtle Beach… Новая звуковая плата TBS-2000(Tropez32) обеспечивает качественную Midi-музыку… TBS-2000 соответствует спецификациям Plug & Play и имеет драйверы для Windows 3.1х и Windows 95, полностью…

Korg

Компания Korg, к сожалению, пока не проявляет особой активности на рынке компьютерного и мультимедиаоборудования. Она лицензировала ряду производителей свою технологию волнового синтеза АI-2, в том числе таким компаниям, как Media Vision и Formosa Industrial Computing, Inc. В продаже появлялось несколько до черних плат типа Wave Blaster, использующих этот синтезатор и 4Мбайт ПЗУ с отличной подборкой GM-инструментов. Но из-за отсутствия рекламы внимание на них обратили только искушенные профессионалы. Информации о новых разработках и компьютерных продуктах пока не поступало.

Ensoniq

Звуковая плата Soundscape Eliteиспользует ту же технологию и специализированные DSP процессоры, что и профессиональные музыкальные инструменты… Наибольшего внимания из этого семейства заслуживает дочерняя плата Soundscape… Характеристики звуковой платы Ensoluq Soundscape Elite:

Creative Technology Lid.

18 ноября 1996 года на выставке Comdex в Лаc-Вегасе была представлена последняя новинка этой фирмы плата AWE64.Вообще цифры, оказывается, значат… Характеристики звуковой платы Sound Blaster AWE64: § Волновой синтезатор E-mu 8000.

Advanced Gravis

Характеристики звуковой платы Ultrasound PnP: § Волновой синтезатор и DSP:AMDlnterwave. § Поддержка режима Gfl (Ultrasound) при наличии ОЗУ.

ТеrrаТес Electronic GmbH

    SoundSystem Maestro 32/96.Эта звуковая плата по своим параметрам и возможностям во многом похожа на Tropez Plus… Характеристики звуковой платы SoundSystem Maestro 32/96: § Волновой синтезатор: 32голосная полифония, 16 MIDI каналов.

ТЕМА 5. ТЕХНОЛОГИЯ СОЗДАНИЯ ПОЗИЦИОНИРУЕМОГО 3D-ЗВУКА.

Основные сведения

Итак, наверняка почти все слышали, что для позиционирования источников звука в виртуальном 3D пространстве используются HRTF функции. Ну что же,… Сколько раз происходило следующее: команда, отвечающая за звук, только что… HRTF (Head Related Transfer Function) это процесс посредством которого наши два уха определяют слышимое местоположение…

Pff(t) = Zo V(t - r/c) / r

 

где Zo это постоянная называемая волновым сопротивлением среды (characteristic impedance of the medium), а "c" это скорость распространения звука в среде. Итак, давление ff пропорционально скорости в начальный период времени (происход "сдвиг" по времени, обусловленный конечной скоростью распространения сигнала. То есть возмущение в этой точке описывается скоростью источника в момент времени отстоящий на r/c - время которое затрачено на то, чтобы сигнал дошел до наблюдателя. В принципе не зная V(t) нельзя утверждать характера изменения скорости при сдвиге, т.е. произойдет замедление или ускорение) и давление уменьшается обратно пропорционально расстоянию от источника звука до пункта наблюдения.

С точки зрения частоты давление звуковой волны можно выразить так:

 

Pff(f) = Zo V(f) exp(- i 2 pi r/c) / r

 

где "f" это частота в герцах (Hz), i = sqrt(-1), а V(f) получается в результате применения преобразования Фурье к скорости распространения звуковой волны V(t). Таким образом, задержки при распространении звуковой волны можно охарактеризовать "phase factor", т.е. фазовым коэффициентом exp(- i 2 pi r /c). Или, говоря словами, это означает, что функция преобразования в "free field" Pff(f) просто является результатом произведения масштабирующего коэффициента Zo, фазового коэффициента exp(- i 2 pi r /c) и обратно пропорциональна расстоянию 1/r. Заметим, что возможно более рационально использовать традиционную циклическую частоту, равную 2*pi*f чем просто частоту.

Если поместить в среду распространения звуковых волн человека, тогда звуковое поле вокруг человека искажается за счет дифракции (рассеивания или иначе говоря различие скоростей распространения волн разной длины), отражения и дисперсии (рассредоточения) при контакте человека со звуковыми волнами. Теперь все тот же источник звука будет создавать несколько другое давление звука P(t) на барабанную перепонку в ухе человека. С точки зрения частоты это давление обозначим как P(f). Теперь, P(f), как и Pff(f) также содержит фазовый коэффициент, чтобы учесть задержки при распространении звуковой волны и вновь давление ослабевает обратно пропорционально расстоянию. Для исключения этих концептуально незначимых эффектов HRTF функция H определяется как соотношение P(f) и Pff(f). Итак, строго говоря, H это функция, определяющая коэффициент умножения для значение давления звука, которое будет присутствовать в центре головы слушателя, если нет никаких объектов на пути распространения волны, в давление на барабанную перепонку в ухе слушателя.

Обратным преобразованием Фурье функции H(f) является функция H(t), представляющая собой HRIR (Head-Related Impulse Response). Таким образом, строго говоря, HRIR это коэффициент (он же есть отношение давлений, т.е. безразмерен; это просто удобный способ загнать в одну букву в формуле очень сложный параметр), который определяет воздействие на барабанную перепонку, когда звуковой импульс испускается источником звука, за исключением того, что мы сдвинули временную ось так, что t=0 соответствует времени, когда звуковая волна в "free field" достигнет центра головы слушателя. Также мы масштабировали результаты таким образом, что они не зависят от того, как далеко источник звука расположен от человека, относительно которого производятся все измерения.

Если вы готовы пренебречь этим временным сдвигом и масштабированием расстояния до источника звука, вы можете просто сказать, что HRIR это давление воздействующее на барабанную перепонку, когда источник звука является импульсным.

Напомним, что интегральным преобразованием Фурье функции HRIR является HRTF функция. Если известно значение HRTF для каждого уха, мы можем точно синтезировать бинауральные сигналы от монофонического источника звука (monaural sound source). Соответственно, для разного положения головы относительно источника звука задействуются разные HRTF фильтры. Библиотека HRTF фильтров создается в результате лабораторных измерений, производимых с использованием манекена, носящего название KEMAR (Knowles Electronics Manikin for Auditory Research, т.е. манекен Knowles Electronics для слуховых исследований) или с помощью специального "цифрового уха" (digital ear), разработанного в лаборатории Sensaura, располагаемого на голове манекена. Понятно, что измеряется именно HRIR, а значение HRTF получается путем преобразования Фурье. На голове манекена располагаются микрофоны, закрепленные в его ушах. Звуки воспроизводятся через акустические колонки, расположенные вокруг манекена и происходит запись того, что слышит каждое "ухо".

 

HRTF представляет собой необычайно сложную функцию с четырьмя переменными: три пространственных координаты и частота. При использовании сферических координат для определения расстояния до источников звука больших, чем один метр, считается, что источники звука находятся в дальнем поле (far field) и значение HRTF уменьшается обратно пропорционально расстоянию. Большинство измерений HRTF производится именно в дальнем поле, что существенным образом упрощает HRTF до функции азимута (azimuth), высоты (elevation) и частоты (frequency), т.е. происходит упрощение, за счет избавления от четвертой переменной. Затем при записи используются полученные значения измерений и в результате, при проигрывании звук (например, оркестра) воспроизводится с таким же пространственным расположением, как и при естественном прослушивании. Техника HRTF используется уже несколько десятков лет для обеспечения высокого качества стерео записей. Лучшие результаты получаются при прослушивании записей одним слушателем в наушниках.

Наушники, конечно, упрощают решение проблемы доставки одного звука к одному уху и другого звука к другому уху. Тем не менее, использование наушников имеет и недостатки. Например:

 

Многие люди просто не любят использовать наушники. Даже легкие беспроводные наушники могут быть обременительны. Наушники, обеспечивающие наилучшую акустику, могут быть чрезвычайно неудобными при длительном прослушивании.

Наушники могут иметь провалы и пики в своих частотных характеристиках, которые соответствуют характеристикам ушной раковины. Если такого соответствия нет, то восприятие звука, источник которого находится в вертикальной плоскости, может быть ухудшено. Иначе говоря, мы будем слышать преимущественно только звук, источники которого находится в горизонтальной плоскости.

При прослушивании в наушниках, создается ощущение, что источник звука находится очень близко. И действительно, физический источник звука находится очень близко к уху, поэтому необходимая компенсация для избавления от акустических сигналов влияющих на определение местоположения физических источников звука зависит от расположения самих наушников.

Использование акустических колонок позволяет обойти большинство из этих проблем, но при этом не совсем понятно, как можно использовать колонки для воспроизведения бинаурального звука (т.е. звука, предназначенного для прослушивания в наушниках, когда часть сигнала предназначена для одного уха, а другая часть для другого уха). Как только мы подключим вместо наушников колонки, наше правое ухо начнет слышать не только звук, предназначенный для него, но и часть звука, предназначенную для левого уха. Одним из решений такой проблемы является использование техники cross-talk-cancelled stereo или transaural stereo, чаще называемой просто алгоритм crosstalk cancellation (для краткости CC).

Идея CC просто выражается в терминах частот. На схемы выше сигналы S1 и S2 воспроизводятся колонками. Сигнал Y1 достигающий левого уха представляет собой смесь из S1 и "crosstalk" (части) сигнала S2. Чтобы быть более точными, Y1=H11 S1 + H12 S2, где H11 является HRTF между левой колонкой и левым ухом, а H12 это HRTF между правой колонкой и левым ухом. Аналогично Y2=H21 S1 + H22 S2. Если мы решим использовать наушники, то мы явно будем знать искомые сигналы Y1 и Y2 воспринимаемые ушами. Проблема в том, что необходимо правильно определить сигналы S1 и S2, чтобы получить искомый результат. Математически для этого просто надо обратить уравнение:

На практике, обратное преобразование матрицы не является тривиальной задачей.

При очень низкой частоте звука, все функции HRTF одинаковы и поэтому матрица является вырожденной, т.е. матрицей с нулевым детерминантом (это единственная помеха для тривиального обращения любой квадратной матрицы). На западе такие матрицы называют сингулярными. (К счастью, в среде отражающей звук, т.е. где присутствует реверберация, низкочастотная информация не являются важной для определения местоположения источника звука).

Точное решение стремиться к результату с очень длинными импульсными характеристиками. Эта проблема становится все более и более сложной, если в дальнейшем искомый источник звука располагается вне линии между двумя колонками, т.е. так называемый фантомный источник звука.

Результат будет зависеть от того, где находится слушатель по отношению к колонкам. Правильное восприятие звучания достигается только в районе так называемого "sweet spot", предполагаемого месторасположения слушателя при обращении уравнения. Поэтому, то, как мы слышим звук, зависит не только от того, как была сделана запись, но и от того, из какого места между колонками мы слушаем звук.

При грамотном использовании алгоритмов CC получаются весьма хорошие результаты, обеспечивающие воспроизведение звука, источники которого расположены в вертикальной и горизонтальной плоскости. Фантомный источник звука может располагаться далеко вне пределов линейного сегмента между двумя колонками.

Давно известно, что для создания убедительного 3D звучания достаточно двух звуковых каналов. Главное это воссоздать давление звука на барабанные перепонки в левом и правом ушах таким же, как если бы слушатель находился в реальной звуковой среде.

Из-за того, что расчет HRTF функций сложная задача, во многих системах пространственного звука (spatial audio systems) разработчики полагаются на использование данных, полученных экспериментальным путем, например, данные получаются с помощью KEMAR, о чем мы писали выше. Тем не менее, основной причиной использования HRTF является желание воспроизвести эффект elevation (звук в вертикальной плоскости), наряду с азимутальными звуковыми эффектами. При этом восприятие звуковых сигналов, источники которых расположены в вертикальной плоскости, чрезвычайно чувствительно к особенностям каждого конкретного слушателя. В результате сложились четыре различных метода расчета HRTF:

Использование компромиссных, стандартных HRTF функций. Такой метод обеспечивает посредственные результаты при воспроизведении эффектов elevation для некоторого процента слушателей, но это самый распространенный метод в недорогих системах. На сегодня, ни IEEE, ни ACM, ни AES не определили стандарт на HRTF, но похоже, что компании типа Microsoft и Intel создадут стандарт де-факто.

Использование одной типа HRTF функций из набора стандартных функций. В этом случае необходимо определить HRTF для небольшого числа людей, которые представляют все различные типы слушателей, и предоставить пользователю простой способ выбрать именно тот набор HRTF функций, который наилучшим образом соответствует ему (имеются в виду рост, форма головы, расположение ушей и т.д.). Несмотря на то, что такой метод предложен, пока никаких стандартных наборов HRTF функций не существует.

Использование индивидуализированных HRTF функций. В этом случае необходимо производить определение HRTF исходя из параметров конкретного слушателя, что само по себе сложная и требующая массы времени процедура. Тем не менее, эта процедура обеспечивает наилучшие результаты.

Использование метода моделирования параметров определяющих HRTF, которые могут быть адаптированы к каждому конкретному слушателю. Именно этот метод сейчас применяется повсеместно в технологиях 3D звука.

На практике существуют некоторые проблемы, связанные с созданием базы HRTF функций при помощи манекена. Результат будет соответствовать ожиданиям, если манекен и слушатель имеют головы одинакового размера и формы, а также ушные раковины одинакового размера и формы. Только при этих условиях можно корректно воссоздать эффект звучания в вертикальной плоскости и гарантировать правильное определение местоположения источников звука в пространстве. Записи, сделанные с использованием HRTF называются binaural recordings, и они обеспечивают высококачественный 3D звук. Слушать такие записи надо в наушниках, причем желательно в специальных наушниках. Компакт диски с такими записями стоят существенно дороже стандартных музыкальных CD. Чтобы корректно воспроизводить такие записи через колонки необходимо дополнительно использовать технику CC. Но главный недостаток подобного метода - это отсутствие интерактивности. Без дополнительных механизмов, отслеживающих положение головы пользователя, обеспечить интерактивность при использовании HRTF нельзя. Бытует даже поговорка, что использовать HRTF для интерактивного 3D звука, это все равно, что использовать ложку вместо отвертки: инструмент не соответствует задаче.

5.2. Sweet Spot

На самом деле значения HRTF можно получить не только с помощью установленных в ушах манекена специальных внутриканальных микрофонов (inter-canal microphones). Используется еще и так называемая искусственная ушная раковина. В этом случае прослушивать записи нужно в специальных внутриканальных (inter-canal) наушниках, которые представляют собой маленькие шишечки, размещаемые в ушном канале, так как искусственная ушная раковина уже перевела всю информацию о позиционировании в волновую форму. Однако нам гораздо удобнее слушать звук в наушниках или через колонки. При этом стоит помнить о том, что при записи через inter-canal микрофоны вокруг них, над ними и под ними происходит искажение звука. Аналогично, при прослушивании звук искажается вокруг головы слушателя. Поэтому и появилось понятие sweet spot, т.е. области, при расположении внутри которой слушатель будет слышать все эффекты, которые он должен слышать. Соответственно, если голова слушателя расположена в таком же положении, как и голова манекена при записи (и на той же высоте), тогда будет получен лучший результат при прослушивании. Во всех остальных случаях будут возникать искажения звука, как между ушами, так и между колонками. Понятно, что необходимость выбора правильного положения при прослушивании, т.е. расположение слушателя в sweet spot, накладывает дополнительные ограничения и создает новые проблемы. Понятно, что чем больше область sweet spot, тем большую свободу действий имеет слушатель. Поэтому разработчики постоянно ищут способы увеличить область действия sweet spot.

5.3. Частотная характеристика

Действие HRTF зависит от частоты звука; только звуки со значениями частотных компонентов в пределах от 3 kHz до 10 kHz могут успешно интерпретироваться с помощью функций HRTF. Определение местоположения источников звуков с частотой ниже 1 kHz основывается на определении времени задержки прибытия разных по фазе сигналов до ушей, что дает возможность определить только общее расположение слева/справа источников звука и не помогает пространственному восприятию звучания. Восприятие звука с частотой выше 10 kHz почти полностью зависит от ушной раковины, поэтому далеко не каждый слушатель может различать звуки с такой частотой. Определить местоположение источников звука с частотой от 1 kHz до 3 kHz очень сложно. Число ошибок при определении местоположения источников звука возрастает при снижении разницы между соотношениями амплитуд (чем выше пиковое значение амплитуды звукового сигнала, тем труднее определить местоположение источника). Это означает, что нужно использовать частоту дискретизации (которая должна быть вдвое больше значения частоты звука) соответствующей как минимум 22050 Hz при 16 бит для реальной действенности HRTF. Дискретизация 8 бит не обеспечивает достаточной разницы амплитуд (всего 256 вместо 65536), а частота 11025 Hz не обеспечивает достаточной частотной характеристики (так как при этом максимальная частота звука соответствует 5512 Hz). Итак, чтобы применение HRTF было эффективным, необходимо использовать частоту 22050 Hz при 16 битной дискретизации.

5.4. Ушная раковина (Pinna)

Мозг человека анализирует разницу амплитуд, как звука, достигшего внешнего уха, так и разницу амплитуд в слуховом канале после ушной раковины для определения местоположения источника звука. Ушная раковина создает нулевую и пиковую модель звучания между ушами; эта модель совершенно разная в каждом слуховом канале и эта разница между сигналами в ушах представляет собой очень эффективную функцию для определения, как частоты, так и местоположения источника звука. Но это же явление является причиной того, что с помощью HRTF нельзя создать корректного восприятия звука через колонки, так как по теории ни один из звуков, предназначенный для одного уха не должен быть слышимым вторым ухом.

Мы вновь вернулись к необходимости использования дополнительных алгоритмов CC. Однако, даже при использовании кодирования звука с помощью HRTF источники звука являются неподвижными (хотя при этом амплитуда звука может увеличиваться). Это происходит из-за того, что ушная раковина плохо воспринимает тыловой звук, т.е. когда источники звука находятся за спиной слушателя. Определение местоположения источника звука представляет собой процесс наложения звуковых сигналов с частотой, отфильтрованной головой слушателя и ушными раковинами на мозг с использованием соответствующих координат в пространстве. Так как происходит наложение координат только известных характеристик, т.е. слышимых сигналов, ассоциируемых с визуальным восприятием местоположения источников звука, то с течением времени мозг "записывает" координаты источников звука и в дальнейшем определение их местоположения может происходить лишь на основе слышимых сигналов. Но видим мы только впереди. Соответственно, мозг не может правильно расположить координаты источников звука, расположенных за спиной слушателя при восприятии слышимых сигналов ушной раковиной, так как эта характеристика является неизвестной. В результате, мозг может располагать координаты источников звука совсем не там, где они должны быть. Подобную проблему можно решить только при использовании вспомогательных сигналов, которые бы помогли мозгу правильно располагать в пространстве координаты источников звуков, находящихся за спиной слушателя.

5.5. Неподвижные источники звука

Все выше сказанное подвело нас к еще одной проблеме:

Если источники звука неподвижны, они не могут быть точно локализованы, как "статические" при моделировании, т.к. мозгу для определения местоположения источника звука необходимо наличие перемещения (либо самого источника звука, либо подсознательных микро перемещений головы слушателя), которое помогает определить расположение источника звука в геометрическом пространстве. Нет никаких оснований, ожидать, что какая-либо система на базе HRTF функций будет корректно воспроизводить звучание, если один из основных сигналов, используемый для определения местоположения источника звука, отсутствует. Врожденной реакцией человека на неожидаемый звук является повернуть голову в его сторону (за счет движения головы мозг получает дополнительную информацию для локализации в пространстве источника звука). Если сигнал от источника звука не содержит особую частоту, влияющую на разницу между фронтальными и тыловыми HRTF функциями, то такого сигнала для мозга просто не существует; вместо него мозг использует данные из памяти и сопоставляет информацию о местоположении известных источников звука в полусферической области.

5.6. Каково же будет решение?

Лучший метод воссоздания настоящего 3D звука это использование минимальной частоты дискретизации 22050 Hz при 16 битах и использования дополнительных тыловых колонок при прослушивании. Такая платформа обеспечит пользователю реалистичное воспроизведение звука за счет воспроизведение через достаточное количество колонок (минимум три) для создания настоящего surround звучания. Преимущество такой конфигурации заключается в том, что когда слушатель поворачивает голову для фокусировки на звуке какого-либо объекта, пространственное расположение источников звука остается неизменным по отношению к окружающей среде, т.е. отсутствует проблема sweet spot.

Есть и другой метод, более новый и судить о его эффективности пока сложно. Суть метода, который разработан Sensaura и называется MultiDrive, заключается в использовании HRTF функций на передней и на тыловой паре колонок (и даже больше) с применением алгоритмов CC. На самом деле Sensaura называет свои алгоритмы СС несколько иначе, а именно Transaural Cross-talk cancellation (TCC), заявляя, что они обеспечивают лучшие низкочастотные характеристики звука. Инженеры Sensaura взялись за решение проблемы восприятия звучания от источников звука, которые перемещаются по бокам от слушателя и по оси фронт/тыл. Заметим, что Sensaura для вычисления HRTF функций использует так называемое "цифровое ухо" (Digital Ear) и в их библиотеке уже хранится более 1100 функций. Использование специального цифрового уха должно обеспечивать более точное кодирование звука. Подчеркнем, что Sensaura создает технологии, а использует интерфейс DS3D от Microsoft.

Технология MultiDrive воспроизводит звук с использованием HRTF функций через четыре или более колонок. Каждая пара колонок создает фронтальную и тыловую полусферу соответственно.

Фронтальные и тыловые звуковые поля специальным образом смещены с целью взаимного дополнения друг друга и за счет применения специальных алгоритмов улучшает ощущения фронтального/тылового расположения источников звука. В каждом звуковом поле применяются собственный алгоритм cross-talk cancellation (CC). Исходя из этого, есть все основания предполагать, что вокруг слушателя будет плавное воспроизведение звука от динамично перемещающихся источников и эффективное расположение тыловых виртуальных источников звука. Так как воспроизводимые звуковые поля основаны на применении HRTF функций, каждое из создаваемых sweet spot (мест, с наилучшим восприятием звучания) способствует хорошему восприятию звучания от источников по сторонам от слушателя, а также от движущихся источников по оси фронт/тыл. Благодаря большому углу перекрытия результирующее место с наилучшим восприятием звука (sweet spot) покрывает область с гораздо большей площадью, чем конкурирующие четырех колоночные системы воспроизведения. В результате качество воспроизводимого 3D звука должно существенно повысится.

Если бы не применялись алгоритмы cross-talk cancellation (CC) никакого позиционирования источников звука не происходило бы. Вследствие использования HRTF функций на четырех колонках для технологии MultiDrive необходимо использовать алгоритмы CC для четырех колонок, требующие чудовищных вычислительных ресурсов. Из-за того, что обеспечить работу алгоритмов CC на всех частотах очень сложная задача, в некоторых системах применяются высокочастотные фильтры, которые срезают компоненты высокой частоты. В случае с технологией MultiDrive Sensaura заявляет, что они применяют специальные фильтры собственной разработки, которые позволяют обеспечить позиционирование источников звука, насыщенными высокочастотными компонентами, в тыловой полусфере. Хотя sweet spot должен расшириться и восприятие звука от источников в вертикальной плоскости также улучшается, у такого подхода есть и минусы. Главный минус это необходимость точного позиционирования тыловых колонок относительно фронтальных. В противном случае никакого толка от HRTF на четырех колонках не будет.

Стоит упомянуть и другие инновации Sensaura, а именно технологии ZoomFX и MacroFX, которые призваны улучшить восприятие трехмерного звука. Расскажем о них подробнее, тем более что это того стоит.

MacroFX

Как мы уже говорили выше, большинство измерений HRTF производятся в так называемом дальнем поле (far field), что существенным образом упрощает вычисления. Но при этом, если источники звука располагаются на расстоянии до 1 метра от слушателя, т.е. в ближнем поле (near field), тогда функции HRTF плохо справляются со своей работой. Именно для воспроизведения звука от источников в ближнем поле с помощью HRTF функций и создана технология MacroFX. Идея в том, что алгоритмы MacroFX обеспечивают воспроизведение звуковых эффектов в near-field, в результате можно создать ощущение, что источник звука расположен очень близко к слушателю, так, будто источник звука перемещается от колонок вплотную к голове слушателя, вплоть до шепота внутри уха слушателя. Достигается такой эффект за счет очень точного моделирования распространения звуковой энергии в трехмерном пространстве вокруг головы слушателя из всех позиций в пространстве и преобразование этих данных с помощью высокоэффективного алгоритма. Особое внимание при моделировании уделяется управлению уровнями громкости и модифицированной системе расчета задержек по времени при восприятии ушами человека звуковых волн от одного источника звука (ITD, Interaural Time Delay). Для примера, если источник звука находится примерно посередине между ушами слушателя, то разница по времени при достижении звуковой волны обоих ушей будет минимальна, а вот если источник звука сильно смещен вправо, эта разница будет существенной. Только MacroFX принимает такую разницу во внимание при расчете акустической модели. MacroFX предусматривает 6 зон, где зона 0 (это дистанция удаления) и зона 1 (режим удаления) будут работать точно так же, как работает дистанционная модель DS3D. Другие 4 зоны это и есть near field (ближнее поле), покрывающие левое ухо, правое ухо и пространство внутри головы слушателя.

Этот алгоритм интегрирован в движок Sensaura и управляется DirectSound3D, т.е. является прозрачным для разработчиков приложений, которые теперь могут создавать массу новых эффектов. Например, в авиа симуляторах можно создать эффект, когда пользователь в роли пилота будет слышать переговоры авиа диспетчеров так, как если бы он слышал эти переговоры в наушниках. В играх с боевыми действиями может потребоваться воспроизвести звук пролетающих пуль и ракет очень близко от головы слушателя. Такие эффекты, как писк комара рядом с ухом теперь вполне реальны и доступны. Но самое интересное в том, что если у вас установлена звуковая карта с поддержкой технологии Sensaura и с драйверами, поддерживающими MacroFX, то пользователь получит возможность слышать эффекты MacroFX даже в уже существующих DirectSound3D играх, разумеется, в зависимости от игры эффект будет воспроизводиться лучше или хуже. Зато в игре, созданной с учетом возможности использования MacroFX. Можно добиться очень впечатляющих эффектов.

Поддержка MacroFX будет включена в драйверы для карт, которые поддерживают технологию Sensaura.

ZoomFX

Современные системы воспроизведения позиционируемого 3D звука используют HRTF функции для создания виртуальных источников звука, но эти синтезированные виртуальные источники звука являются точечными. В реальной жизни звук зачастую исходит от больших по размеру источников или от композитных источников, которые могут состоять из нескольких индивидуальных генераторов звука. Большие по размерам и композитные источники звука позволяют использовать более реалистичные звуковые эффекты, по сравнению с возможностями точечных источников звука. Так, точечный источник звука хорошо применим при моделировании звука от большого объекта удаленного на большое расстояние (например, движущийся поезд). Но в реальной жизни, как только поезд приближается к слушателю, он перестает быть точечным источником звука. Однако в модели DS3D поезд все равно представляется, как точечный источник звука, а значит, страдает реализм воспроизводимого звука (т.е. мы слышим звук скорее от маленького поезда, нежели от огромного состава громыхающего рядом). Технология ZoomFX решает эту проблему, а также вносит представление о большом объекте, например поезде как собрание нескольких источников звука (композитный источник, состоящий из шума колес, шума двигателя, шума сцепок вагонов и т.д.).

Для технологии ZoomFX будет создано расширение для DirectSound3D, подобно EAX, с помощью которого разработчики игр смогут воспроизводить новые звуковые эффекты и использовать такой параметр источника звука, как размер. Пока эта технология находится на стадии завершения.

Компания Creative реализовала аналогичный подход, как в MultiDrive от Sensaura, в своей технологии CMSS (Creative Multispeaker Surround Sound) для серии своих карт SB Live!. Поддержка этой версии технологии CMSS, с реализацией HRTF и CC на четырех колонках, встроена в программу обновления LiveWare 2.x. По своей сути, технология CMSS является близнецом MultiDrive, хотя на уровне алгоритмов CC и библиотек HRTF наверняка есть отличия. Главный недостаток CMSS такой же, как у MultiDrive - необходимость расположения тыловых колонок в строго определенном месте, а точнее параллельно фронтальным колонкам. В результате возникает ограничение, которое может не устроить многих пользователей. Не секрет, что место для фронтальных колонок давно зарезервировано около монитора. Место для сабвуфера можно выбрать любым, обычно это где-то в углу и на полу. А вот тыловые колонки пользователи располагают там, где считают удобным для себя. Не каждый захочет расположить их строго за спиной и далеко не у всех есть свободное место для такого расположения.

Заметим, что главный конкурент Creative на рынке 3D звука, компания Aureal, использует технику панорамирования на тыловых колонках. Объясняется это именно отсутствием строгих ограничений на расположение тыловых колонок в пространстве.

Не стоит забывать и о больших объемах вычислений при расчете HRTF и Cross-talk Cancellation для четырех колонок.

Еще один игрок на рынке 3D звука - компания QSound пока имеет сильные позиции только в области воспроизведения звука через наушники и две колонки. При этом свои алгоритмы для воспроизведения 3D звука через две колонки и наушники (в основе лежат HRTF) QSound создает исходя из результатов тестирования при прослушивании реальными людьми, т.е. не довольствуется математикой, а делает упор на восприятие звука конкретными людьми. И таких прослушиваний было проведено более 550000! Для воспроизведения звука через четыре колонки QSound использует панорамирование, т.е. тоже, что было в первой версии CMSS. Такая техника плохо показала себя в играх, обеспечивая слабое позиционирование источников звука в вертикальной плоскости.

Компания Aureal привнесла в технологии воспроизведения 3D звука свою технику Wavetracing. Мы уже писали об этой технологии, вкратце, это расчет распространения отраженных и прошедших через препятствия звуковых волн на основе геометрии среды. При этом обеспечивается полный динамизм восприятия звука, т.е. полная интерактивность.

Итак, подведем итоги. Однозначный вывод состоит в том, что если вы хотите получить наилучшее качество 3D звука, доступное на сегодняшний день, вам придется использовать звуковые карты, поддерживающие воспроизведение минимум через четыре колонки. Использование только двух фронтальных колонок - это конфигурация вчерашнего дня. Далее, если вы только собираетесь переходить на карты с поддержкой четырех и более колонок, то перед вами встает классическая проблема выбора. Как всегда единственная рекомендация состоит в том, чтобы вы основывали свой выбор на собственных ощущениях. Послушайте максимально возможно число разных систем и сделайте именно свой выбор.

 


 

ТЕМА 6. ТЕХНОЛОГИИ ОБРАБОТКИ ГРАФИЧЕСКОЙ ИНФОРМАЦИИ

6.1. Трехмерная графика

Последние несколько лет графические подсистемы персональных компьютеров состояли, в основном, из двухмерных графических контроллеров, снабженных обычным кадровым буфером. Новейшие приложения трехмерной графики вызвали на свет тенденцию оснащения графических контроллеров процессорами для обработки трехмерной (3D) графики. Кроме того, разработка расширенного графического порта AGP - новой высокоскоростной высокопроизводительной специализированной шины между графической подсистемой и оперативной памятью - еще сильнее ужесточает требования на трехмерную графику. С помощью аппаратных и программных новшеств производительность приложений трехмерной графики значительно возрастает. Эти новшества позволяют приложениям создавать для конечного пользователя увлекательную интерактивную и реалистичную среду.

 
 

Трехмерная графика в отличие от двухмерной дает более реалистичное представление образов, как, например, это показано на рис.1. Конечно, трехмерные объекты можно попиксельно синтезировать в локальной памяти графической подсистемы, но этот процесс и сложен, и не поддается управлению. От него резко отличается современный подход, при котором в архитектуре системы отсутствуют средства непосредственного управления пикселями. Наоборот, новейшие средства, заложенные в микропроцессор, позволяют приложениям работать с высокоуровневым описанием трехмерной сцены, выполняясь на центральном процессоре. Лишь при наличии описания сцены аппаратные и программные средства трехмерной графики преобразуют описание в пиксели дисплейного изображения.

 

 

Рис.1.Двухмерная и трехмерная сферы.

 

Главной целью системы трехмерного графического синтеза является создание высококачественных фотореалистичных изображений со скоростью видео. Используя аппаратные средства, способные синтезировать сцены со скоростью 30 раз в секунду (стандартная скорость воспроизведения видео), приложения трехмерной графики предоставляют пользователю интерактивные высокореалистичные возможности для работы.

В данной статье приведен обзор основных концепций трехмерной графики и использована терминология, связанные со стандартным графическим 3D-конвейером (в дальнейшем - конвейер). В статье рассмотрена типичная реализация архитектуры трехмерного конвейера и разработанный компанией Microsoft интерфейс 3D-приложений (API), называемый Direct3D.

6.2. Графический конвейер

В большинстве подсистем трехмерной графики применяется графический конвейер. Конвейер - это логическая группа вычислений, выполняемых последовательно, которые дают на выходе синтезируемую сцену. Конвейер разделен на множество этапов, на каждом из которых аппаратно или программно выполняется некоторая функция. Наличием переходов между этапами конвейера обеспечивается возможность выбора между программной и аппаратной реализацией очередного этапа. Такой подход к настройке конвейера позволяет приложениям трехмерной графики получать преимущества аппаратной реализации, когда таковая доступна. Таким образом, реализация конвейера может чисто программной, полностью аппаратной или смешанной (программно-аппаратной).

Большинство механизмов трехмерной геометрии состоит из определенных этапов графического конвейера. На рис.2. приведен пример конвейера, разделенного на два стадии: геометрические преобразования и рендеринг. До начала работы геометрических преобразований приложение должно описать трехмерную сцену, изображение которой необходимо синтезировать. Если использовать такие распространенные интерфейсы, как Direct3D компании Microsoft или OpenGL компании Silicon Graphics, сцена будет описана как последовательность обращений (вызовов функций) к интерфейсу API. Многие производители оборудования для трехмерной графики разрабатывают собственные конвейеры и соответствующие интерфейсы приложений API. Оригинальные программные разработки позволяют достичь наибольшей производительности их оборудования. Соответственно, оригинальные интерфейсы приложений API требуют описывать сцены с использованием вызовов, соответствующих используемой аппаратуре.


Рис.2.Типичный 3D-конвейер

 

6.3. Геометрические преобразования

Традиционно трехмерные объекты конструируются из треугольников или многоугольников, образуя базовую проволочную модель объекта (см. рис.3). Стадия геометрических преобразований на основе описания трехмерной сцены, которое включает освещение, точку обзора и используемые материалы, вычисляет типы и количество многоугольников или треугольников, необходимых для формирования сцены. В дальнейшем мы будем предполагать, что для конструирования объектов применяются только треугольники. Изначально множество треугольников описывается на языке высокого уровня, а затем оно преобразуется во множество вершин. Стадия геометрических преобразований требует выполения большого объема вычислительных операций, включая операции с плавающей точкой. Многие существующие процессоры начального уровня для обработки трехмерной графики перекладывают расчеты по геометрии сцены на центральный процессор.

 
 

Рис.3.Проволочная модель сферы

 

Стадия геометрических преобразований состоит из четырех этапов. Первый этап заключается в конструировании треугольников, когда каждый объект описывается группой треугольников. Треугольники формируются на основе множества вершин, заданных приложением. На втором этапе выполняются модельные преобразования, такие как перенос, вращение и изменение масштаба. Преобразования позволяют перемещать объекты в сцене.

На третьем этапе выбираются модели освещения и вычисляется освещенность объектов. Модель освещения описывает тип используемых источников света и затем, когда определены свойства освещаемого объекта, формируется эффект освещения. Общепринятые модели освещения включают рассеянный свет, направленный и точечный источники света. Отражающие свойства материала в сочетании с моделью освещения задают цвет объекта. Завершает геометрическую стадию конвейера этап установки. На этапе установки изменяются размеры треугольников в зависимости от положения точки наблюдения сцены.

 

6.4. Стадия рендеринга

Рендеринг - это процесс преобразования объекта или сцены, созданных в приложении трехмерной графики, для вывода на дисплей, который представляет собой двухмерную плоскость. На стадии рендеринга по описанию треугольников генерируются пиксели изображения. В отличие от механизма геометрических преобразований в процессе рендеринга объем операций с плавающей точкой не столь велик и в основном состоит из простых операций над пикселями.

6.5. Сортировка по Z-буферу и смешение текстур

Стадия рендеринга также состоит из четырех этапов. Первый этап заключается в сортировке подготовленных данных по Z-буферу. Z-буфер используется для хранения информации о положении объектов по глубине сцены относительно других объектов. Трехмерная сцена составлена из множества объектов со взаимным расположением по глубине в зависимости от точки визирования. Объекты и сцены можно вращать и наблюдать с разных позиций, в том числе спереди, сбоку, сзади, сверху и снизу. Позиция объекта меняется в зависимости от положения и направленности наблюдателя. Например, при виде спереди объект может быть видим полностью, а с положения сзади - заслоняться другим объектом. Z-буфер предназначен для хранения информации, необходимой для правильного отражения по глубине видимых объектов в зависимости от положения и направленности наблюдателя в сцене.

Другим процессом, выполняемым на первом этапе рендеринга, является обработка альфа-буфера и смешение текстур. Эта процедура заключается в смешении двух пикселей в сцене для получения одного составляющего пикселя. Коэффициент альфа-канала определяет вклад каждого пикселя при формировании составляющего. Значения коэффициентов альфа-составляющей могут быть попиксельно записаны в область памяти, называемую альфа-буфером. Примером использования смешения текстур является сцена, изображающая голубое небо с просвечивающими белыми облаками. Смешение позволяет голубому небу проступать сквозь белые облака за счет смешения значений двух пикселей - облака и неба - в единый пиксель.

6.6. Наложение текстуры

Второй этап на стадии рендеринга состоит в наложении текстурной карты на объект. Текстура представляет собой плоскую картину, которая оборачивается вокруг трехмерного объекта, как это показано на рис.4. Текстура прикладывается к проволочной модели объекта для обеспечения реалистичной поверхности или покрытия объекта. Например, здание можно сконструировать из обычных треугольников, покрытых текстурной картой из кирпичей с проложенным между ними раствором. В результате получится изображение здания с кирпичным экстерьером. Текстуры составляются из текселей, эквивалентных пикселям дисплея. Для отображения на дисплее тексели проецируются в пиксели.

 
 

 

Рис.4. Текстурированная сфера

 

Процесс наложения текстуры находится в противоречии с точностью представления объекта в зависимости от удаленности от наблюдателя. При удалении текстура должна становиться мельче. Корректное представление текстур в пространственной перспективе обеспечиватся несколькими приемами. Для представления текстур на различном расстоянии от наблюдателя и для треугольников разного размера используется серия текстурных карт разного размера, называемая мип-мэппингом. В процессе рендеринга объекта используется та текстурная карта из мип-мэппинга, которая наиболее соответствует размерам объекта и расстоянию его до наблюдателя. Билинейная фильтрация предусматривает выбор текстурной карты из мип-мэппинга и вычисление взвешенной суммы ближайших соседних текселей для получения пикселя, который будет выведен на дисплей.

Трилинейная фильтрация имеет большую вычислительную сложность, поскольку предусматривает обработку двух ближайших текстурных карт из мип-мэппинга. Над каждой из пары текстурных карт выполняется билинейная фильтрация, а из полученной пары значений берется взвешенная сумма, которая и является результатом.

Еще одной важной особенностью является возможность коррекции перспективы при наложении текстуры. Коррекция пространственной перспективы необходима, когда объект имеет значительную протяженность и текстура на объекте должна эту протяженность отразить. Например, если кирпичное здание имеет значительную протяженность, то текстура из кирпичей должна отразить удаленность части объекта.

 

6.7. Закраска треугольников

Третий этап стадии рендеринга состоит в закраске треугольников. Для выполнения этой задачи используются три модели: плоское закрашивание и закрашивание по Гуро и по Фонгу. Модель с плоским закрашиванием заключается в равномерном однородном закрашивании каждого треугольника одним цветом (обычная заливка). В результате объект предстает как множество плоских граней (см. рис.5).

 
 

 

 

Рис.5. Сфера с плоским закрашиванием

 

В процедурах закрашивания по Гуро и по Фонгу цвет интерполируется относительно границ треугольника, что приводит к более реалистичной и непрерывной закраске объекта. Закрашивание по Фонгу дает более реалистичный результат, чем закрашивание по Гуро, но требует более интенсивных вычислений (см. рис.6).

 
 

 

Рис.6. Сфера с закрашиванием по Фонгу

 

6.8. Сглаживание

На заключительном этапе рендеринга примененяется алгоритм сглаживания (антиэлайзинг) для устранения эффекта дискретизации, ступенчатости изображения на границе объектов. Поскольку пиксели выровнены по сетке (что характерно для обычных дисплеев), точное представление объекта, имеющего наклонные линии, представляется непростой задачей. Дискретизация приводит к появлению на прямых линиях эффекта ступенчатости или зазубренности. Алгоритм сглаживания снижает остроту проявления подобного эффекта.

В трехмерной графике применяется множество других процедур и эффектов, включая атмосферные явления (например, туман), отражение, динамические текстуры (включая стандартное видео), деформацию объектов, затенение объектов и рельефные текстуры. Более подробно эти эффекты перечислены в конце статьи.

Типичный графический конвейер изображен на рис.2. Реализация может значительно изменяться как по принятой терминологии, так и по последовательности этапов, заложенных в конвейер. Одной из реализаций архитектуры графического конвейера является чисто программная архитектура Direct3D компании Microsoft.

 

6.9. Архитектура Direct3D компании Microsoft

Компания Microsoft анонсировала конвейерную архитектуру, называемую Direct3D, как часть интерфейса DirectX. Direct3D предоставляет разработчикам приложений трехмерной графики интерфейс API. Использование интерфейса Direct3D дает разработчикам возможность создавать приложения в единственном экзепляре, не заботясь о том, какой графический акселератор установлен в компьютере конечного пользователя. Архитектура Direct3D состоит из нескольких частей. Первый компонент - промежуточный абстрактный аппаратный уровень (HAL) - служит передаточным звеном между приложениями и установленным оборудованием. Если нет никакого аппаратного ускорения, то соответствующие функции берет на себя второй компонент архитектуры - программный, - называемый уровнем эмуляции аппаратуры (HEL). На рис.7 изображены связи между уровнями HAL и HEL, приложениями и аппаратурой дисплея.

 

 
 

Рис.7

В интерфейсе приложений Direct3D предусмотрены два режима - непосредственный и абстрактный.

Непосредственный режим интерфейса приложений предоставляет доступ и средства управления оборудованием на низком уровне. Приложение должно обрабатывать объекты и манипулировать сценой самостоятельно. С точки зрения программиста непосредственный режим представляет собой тонкий слой, при использовании которого можно достичь высокой производительности.

Обратной стороной медали являются значительные усилия по программированию средств управления объектами и сценой. В то же время высокоуровневый абстрактный режим не требует от приложения управлять сценой и двигать объекты, что снижает объем программирования.

Недостатком в этом случае является меньшая производительность абстрактного режима по сравнению с производительностью, достигаемой на непосредственном режиме.

Конвейер Direct3D изображен на рис.8. Конвейер состоит из трех этапов: преобразования, освещение и растеризация. Преобразования и освещение относятся к стадии геометрических преобразований, которая рассмотрена ранее как компонент типичного графического конвейера, а растеризация является этапом на стадии рендеринга.

 


Рис.8

На этапе преобразований выполняются операции вращения и проецирования трехмерных объектов на плоскость. На этом этапе вычисляется взаимное расположение объектов. Можно задавать позицию, направление и перспективу наблюдателя сцены,. Кроме того, объекты можно вращать, искривлять и менять в размерах. Этап освещения состоит из трех частей: выбор типа источника освещения, управление уровнем рассеянного света и задание материала объекта. На этапе растеризации используются результаты вычислений двух предыдущих этапов - преобразования и освещения,- чтобы выполнить рендеринг сцены для вывода на дисплей.

Преимуществом архитектуры Microsoft Direct3D является общепринятый интерфейс приложений трехмерной графики, назависимый от оборудования, используемого разработчиками приложений.

Кроме того, производители оборудования для трехмерной графики, предусмотревшие программную поддержку на уровне Direct3D HAL, могут рассчитывать на появление большого количества приложений, которое будет работать на их оборудовании.

Компания Microsoft планирует включить Direct3D в состав своих операционных систем. В ожидании появления таких операционных систем разработчики приложений выпускают новые приложения, использующие интерфейс Direct3D.

6.10. Заключение

С распространением недорогих аппаратных средств для трехмерной графики и стандартизации интерфейса приложений, такого как Direct3D, в течение пары лет использование трехмерной графики станет повсеместным. Можно ожидать широкого применения трехмерной графики в науке и в деловых приложениях с целью отображения сложных структур данных. Трехмерная графика обогатит и традиционные приложения, такие как архитектура и дизайн. Тренажеры могут быть дополнены спецэффектами трехмерной графики для имитации реальной среды. Другими важными областями распространения трехмерной графики являются браузеры для intranet/Internet и содержание Web-страниц. Следует ожидать, что трехмерная графика станет общепринятым компонентом операционных систем и многочисленных приложений для персональных компьютеров.

 


 

ТЕМА 7. СОВРЕМЕННЫЕ ГРАФИЧЕСКИЕ АКСЕЛЕРАТОРЫ

7.1. Введение

Компьютерное "железо" является, наверное, наиболее быстро развивающейся из всех технологических отраслей. С множеством прогрессий, все более и более улучшающихся параметров различных компонент компьютера, способно ныне соревноваться на равных только лишь другое множество падающих все ниже и ниже, цен на эти устройства. Еще несколько лет назад, было бы абсолютно невозможно предположить существование адекватного современным ему требованиям персонального компьютера, не превышающего своею ценой заветной планки в $1000. Все изменилось, теперь цена домашнего компьютера на основе процессора Pentium MMX 166 МГц находится где-то между хорошей стиральной машиной с вертикальной загрузкой и качественной видео-двойкой от SONY. Но, несмотря на явный демпинг цен, технологии компьютерного рынка продолжают развиваться семимильными шагами. Кто знает, может быть сейчас этот процесс идет лишь по инерции, благодаря багажу фундаментальных разработок, накопленному за годы продаж дорогих компьютеров различным предприятиям и корпорациям? Или наоборот - огромное число домохозяек, приобретающих для своих детей современные "Basic PC", лишь в очередной раз толкает прогресс компьютерных технологий вперед. Как бы то ни было, речь сегодня пойдет не столь о тенденциях рынка, сколь о цифрах.

Вы, наверное, помните, что число транзисторов в продаваемых процессорах возрастает вдвое, каждые восемнадцать месяцев? А знаете ли вы о том, что цена одного мегабайта памяти падает вдвое каждые шесть месяцев? Хорошо, а как насчет производительности 3D ускорителей, возрастающей на порядок каждый год!

Близится очередной виток гонки видеокарт и 3D ускорителей. С недели на неделю в продаже появятся ускорители, основанные на чипах нового поколения, причем не две и не три, а около десяти новых моделей чипов, различных производителей. Огромное количество анонсов, прозвучавших в течении последних месяцев способно испугать любого покупателя, удержать его от покупки проверенного и хорошо известного всем "монстра", в ожидании чего-либо нового, более дешевого или более быстрого. Matrox, nVidia, S3, 3Dfx, Video Logic, TriTech, Artist Graphics, BitBoys, Fujitsu, GigaPixel, Oak tech., Philips, Silicon Reality, Stellar, 3Dlabs. Ни много ни мало - пятнадцать фирм завершающих или уже завершивших разработку новых чипов. Разумеется, каждый из них лучший, неповторимый и абсолютно инновационный. И, конечно, сейчас очень сложно сделать выбор между еще не существующими видеокартами, но, мысленно разложив перед собою, всю доступную на данный момент информацию можно представить себе вероятную картину ближайшего будущего самого динамичного из всех рынков - рынка видеокарт и ускорителей. Итак, приступим.

7.2. История

Вопрос о том, что же является двигателем всей компьютерной индустрии, давно заботит многих пользователей. То ли это фирма Intel, которая, не переставая, выпускает и выпускает новые процессоры. Но кто тогда заставляет их покупать? Может, во всем виноват Microsoft, который непрерывно делает свои окна больше и краше? Да нет, можно ведь довольствоваться старыми версиями программ - тем более спектр их возможностей практически не изменяется. Вывод напрашивается сам собой - во всем виноваты игры. Да, именно игры стремятся все более и более уподобиться реальному миру, создавая его виртуальную копию, хотят все более мощных ресурсов.

Вся история компьютерной графики на PC является тому подтверждением. Вспомните, в начале были тетрисы, диггеры, арканоиды. Вся графика заключалась в перерисовке небольших участков экрана, спрайтов, и нормально работала даже на XT. Но прошли те времена. Взошла звезда симуляторов.
С выходом таких игр, как F19, Formula 1 и т.п., в которых приходилось уже перерисовывать весь экран, предварительно заготавливая его в памяти, всем нам пришлось обзавестись, по крайней мере, 286 процессором. Но прогресс на этом не остановился. Желание уподобить виртуальный мир в игре реальному миру усилилось, и появился Wolf 3D. Это, можно сказать, первая 3D-игра, в которой был смоделирован какой-никакой, но все же реалистичный мир. Для его реализации пришлось использовать верхнюю (более 640 Кб) память и загнать программу в защищенный режим. Для полноценной игры пришлось установить процессор 80386. Но и мир Wolf 3D страдал недостатками. Хотя стены и были не просто одноцветными прямоугольниками, но для их закраски использовались текстуры с небольшим разрешением, поэтому поверхности смотрелись прилично лишь на расстоянии. Конечно, можно было пойти по пути наращивания разрешения текстур, вспомним, например, DOOM. Тогда нам пришлось снова перейти на более новый процессор и увеличить количество памяти. Правда, все равно, хотя изображение и улучшилось, но ему были присущи все те же недостатки. Да и плоские объекты и монстры - кому это интересно. Тут то и взошла звезда Quake. В этой игре был применен революционный подход - z-буфер, позволивший придать объемность всем объектам. Однако вся игра все равно работала в невысоком разрешении и не отличалась высокой реалистичностью.

Назревало новое аппаратное решение. И решение это оказалось, в общем-то, лежащим на поверхности. Раз пользователи хотят играть в трехмерном виртуальном мире, то процесс его создания (вспомним минуты ожидания, проведенные за 3D Studio перед появлением очередной картинки) надо кардинально ускорить. А раз центральный процессор с этой задачей справляется из рук вон плохо, было принято революционное решение - сделать специализированный.
Тут то и вылез производитель игровых автоматов 3Dfx, сделавший эту сказку былью с помощью своего графического процессора Voodoo. Человечество сделало еще один шаг в виртуальный мир.

А поскольку операционной системы на PC с текстурными окнами, уплывающими назад, в туман, пока нет, и не предвидится, весь аппарат трехмерной графики можно пока применить только к играм, что успешно делает все цивилизованное человечество.

7.3. Обзор производителей

Dfx Interactive

Первый чип предназначен для работы с буфером кадра и Z буфером (буфером расстояний до наблюдателя, которые приписываются каждому пикселю экрана,… Второй чип контролирует буфер текстур и отвечает за все операции по получению… Первоначально, эта архитектура (как впрочем и все современные технологии) разрабатывалась для более серьезных…

NVidia

Компания nVidia, ранее известная своим чипсетом nv1, на базе которого была сделана первая 2D/3D игровая плата Diamond Edge3D. Кстати, на этой плате был также реализованы: звук с синтезом по таблице волн, поддержка джойстиков от Sega и памяти типа VRAM или EDO DRAM. Но прославилась nVidia своим чипом Riva128. Справедливости ради, стоит отметить, что все разработки nv1 и Riva128 велись совместно с компанией STMicroelectronics (бывшая SGS-Thomson).

Riva128 - это законченное решение для видеокарты 2D + 3D + Video ввод/вывод обладает потрясающим соотношением цена/производительность. Но, к сожалению, с качеством дело обстоит далеко не так хорошо. Чип поддерживает как AGP так и PCI шины, и реализует естественную для AGP архитектуру DIME - Direct Memory Execution. Большинство текстур хранятся в основной памяти компьютера, а на чипе предусмотрен 12 Кб кэш для текстурных данных, которые подгружаются туда из основной памяти или локальной памяти компьютера, тогда как буфер экрана и Z буфер находятся в локальной памяти карты. Подобный подход снимает жесткие ограничения на размер текстур, но имеет и обратную сторону - в случае PCI карты шина может быть загружена до предела, не обеспечивая при этом необходимой ширины полосы пропускания, для полной загрузки ускорителя.

Пропускная способность AGP уже достаточна для обеспечения пикового (100 миллионов пикселей в секунду) fill rate у Riva128, т.е. карты на его основе можно назвать "сильно-шинно- зависимыми". К тому же, как уже упоминалось ранее, производительность этого чипа зависит от производительности процессора. Достоинством чипа является большой набор возможностей - в Riva128 аппаратно реализованы практически все функции Direct3D и, как следствие, платы на Riva128 демонстрируют высокую производительность в Direct3D.

Также неоспоримым достоинством является наличие полного OpenGL драйвера (ICD). К сожалению, существует некоторое количество игр, поддерживающих только собственный API 3Dfx - Glide, которые, разумеется, не могут использовать Riva128 и другие ускорители. Визуально качество изображения несколько хуже, чем у Voodoo, но пиковая производительность выше - до 5 миллионов треугольников в секунду. Память - всегда 4 Мб SGRAM, работающих на частоте 100 МГц, внутренняя шина - 128 бит. Тактовая частота чипа 100 МГц. Чип имеет поддержку видео входа/выхода, которые реализованы на многих картах.

Видеовыход неплох, а вот возможности захвата изображения крайне слабы - практически видеосигнал декодируется программным путем. Чип имеет встроенный RAMDAC 230 МГц. Глубина цвета в 3D - Hi-color, в 2D - до True-color. Поддерживаются разрешения до 960*712 в 3D c Z буфером и до 1600*1200 в 2D. Производительность в Quake - 30 кадров в секунду на Pentium MMX 200 MHz и около 45 на Pentium II 266, при этом необходимо как минимум 32 Мб системной памяти. Типичная цена платы - $100. Рекомендуется к приобретению всем владельцам компьютеров с AGP шиной вместо Voodoo. В случае Pentium c PCI предпочтительнее Voodoo, за исключением случая, когда необходимо не только существенное 3D ускорение, но и просто покупка быстрой видеокарты.

Примеры карт:

§ Asus 3DexPlorer 3000

§ Canopus Total3D V128

§ Diamond Viper v330

§ E4 CoolView3D

§ Elitegroup 3DVision-SAGP

§ ELSA Victory Erazor

§ Guillemot Maxi Graphics 128

§ miroMEDIA miroMAGIC Premium

§ STB Velocity 128

§ STB MVP Pro-128

§ Tekram AGP 5000

Существует вторая версия чипа - Riva128ZX. Максимальный объем памяти в ней увеличен до 8 Мб, стало возможным полное сглаживание изображения и Hi-color 3D разрешения до 1200*1024. Чип имеет новый RAMDAC 250 МГц. Также, значительно улучшено качество видеовыхода. Пока чип не популярен из-за более высокой цены 8 Мб карт и повсеместного ожидания нового продукта Nvidia - RivaTNT, но в будущем, вероятно, придет на смену Riva128 в системах среднего уровня.

Примеры карт:

§ Cardex Cardexpert 128ZX

§ Diamond Viper v330

§ STB Velocity 128

§ Tekram AGP 5000.

Практически завершена (чип выйдет со дня на день) разработка чипа нового поколения RivaTNT (TwiN Texel), способного обойти по производительности явного на сегодняшний день лидера - Voodoo2.

Чип имеет похожую на Riva128 архитектуру памяти, и два работающих параллельно конвейера текстурирования треугольников. Максимальная рабочая частота чипа 125МГц, ограничена, скорее всего, лишь быстродействием доступной сейчас SGRAM памяти. При этом достигается fill rate 250 миллионов пикселей в секунду или 125 миллионов в режиме с мультитекстурированием. Карта поддерживает локальную память размером до 16 Мб, и, что наиболее важно, 3D ускорение в режиме 32 бит True-color.

Частота RAMDAC 250МГц достаточна для поддержки режима 1600*1200 с частотою развертки 85 Гц. RivaTNT поддерживает DirectX 5, DirectX 6, OpenGL в Windows 95 и Windows NT. Чип имеет много новых 3D функций, реализованных аппаратно: 24-битная floating-point Z-буферизация, 8-битный буфер шаблонов, рельефное текстурирование (bump mapping), процедурные текстуры, трилинейная фильтрация, анизотропная фильтрация (8-точечная), полное сглаживание. Реализована работа с шинами AGP 2x и PCI. Чип обладает феноменальной пропускной способностью - 8 миллионов треугольников в секунду. На выставке E3 (Electronic Entertainment Expo) проходившей недавно, фирма nVidia демонстрировала пробную плату на основе RivaTNT, на компьютере Pentium II 400 МГц шел Quake II в True-color режиме с разрешением 1600*1200 и скоростью не менее 30 кадров в секунду! Также необходимо отметить отсутствие характерных для Riva128 дефектов изображения, вроде не стыкующихся полигонов. Цены на первые карты на базе RivaTNT будут соответствовать производительности ы порядка $300 вначале.

Пример карты:

§ Diamond Viper V550

§ STB Velocity 4400

Intel

Недавно фирма Intel дебютировала на рынке 3D ускорителей, выпустив совместно с Real3D мощный видеочип, под вполне типичным для нее названием i740. Данный чип рассматривается как основа стандартных (базовых) видеокарт для компьютеров на процессорах класса Pentium II. Конечно, для таких компьютеров "базовая карта" вовсе не означает "самая дешевая", просто в подобных, пока еще достаточно дорогих, компьютерах никто не собирается экономить на видео-ускорителе и цена в районе $80 за 8 Мб карту является вполне базовой. Хотя по заявлениям представителей фирмы Intel о том, что "этот чип не призван конкурировать с ускорителями класса Riva128", он имеет ряд значительных преимуществ, связанных, прежде всего, с высоким качеством создаваемого изображения. Кстати, это первый чипсет, в котором рендеринг производится при 24 битном представлении цвета.

i740 - это 64-разрядный видеопроцессор, объединяющий производительные 3D и 2D, поддержку видео, DVD, видеовход, видеовыход и функцию захвата видео. Поддерживается PCI и AGP x2 с адресацией по боковой полосе, что повышает пропускную способность шины практически вдвое по сравнению с Riva128. Объем памяти до 8 Мб SGRAM, в PCI варианте чипа необходим также отдельная память для буфера текстур, объемом до 16 Мб SDRAM. Это, скорее всего, не позволит выпускать PCI карты на его основе обладающие приемлемой ценою.

Чип i740 оптимизирован для совместного использования с Pentium II и шиной AGP. Реализованы 11- уровневый попиксельный мипмэппинг, антиалиасинг, возможны неквадратные текстуры размером от 1x1 до 1024x1024. В данный момент существуют драйвера для Direct3D, а в скором будущем выйдет и полный OpenGL (для Real3D StarFighter они есть). Поддерживаются Windows 95 OSR 2.1, Windows 98, Windows NT 4.0 и 5.0.

Cкоростные показатели довольно средние (чуть медленнее Voodoo) типичный fill rate 45-55 миллионов пикселей в секунду, типичная пропускная способность 425- 500 тысяч полигонов в секунду.

Зато качество 3D изображения просто эталонное - на порядок выше всех доступных ныне ускорителей. Также, несомненно, привлекают широкий набор 2D и видео возможностей и привлекательна цена самого чипсета (от $7 до $25 в оптовых поставках) возможная, благодаря большим производственным мощностям Intel. Благодаря подобному демпингу уже сейчас можно купить 8 Мб карты на базе i740 по цене менее $80!

К сожалению, как было уже отмечено, карты на основе i740 выпускаются только в AGP исполнении (не считая плат Real3D StarFighter, на которых используется специально разработанный мост AGP-to-PCI. Чип имеет встроенный RAMDAC 220 МГц, хотя некоторые производители карт, по ошибке, указывают предельную частоту для режимов с палитрой - 205 МГц. Цветовая глубина в 3D - только Hi- color, но с очень качественным дизерингом. Максимальное разрешение 1600*1200 в 2D и 1200*1024 в 3D. Рекомендуется к покупке всем владельцам Pentium II, играющим понемногу в различные игры но не желающим тратить деньги на карты класса Riva128 и выше. Производительность в Quake (с неготовыми OpenGL драйверами) порядка 28 кадров в секунду.

Примеры карт:

§ AOpen PA740

§ Asus 3DexPlorer 2740

§ A-Trend SPeedy 3DI0740

§ Biostar Orion 740

§ Cardex Cardexpert I740

§ Diamond Stealth II G460

§ Elitegroup 3DVision-i740

§ Hercules Terminator 2x/i

§ Intel Express 3D

§ Leadtek WinFast 3D S900

§ Real3D StarFighter

§ STB Lightspeed 740

§ Tekram AGP-6000 3D Fire

В сентябре появится новая версия чипсета i740 со степпингом B0, главное улучшение -- RAMDAC будет работать на частоте 230 МГц во всех режимах!

Известно, что разрабатывается наследник i740 - чип с кодовым названием Portola. Он будет обладать вчетверо более высокой производительностью (на уровне RivaTNT) и столь же эталонным качеством 3D. Вероятный срок появления на рынке - конец 1998 г.

Matrox

Всем известная фирма признанный лидер в области высококачественных 2D карт пробует себя на рынке 3D ускорителей с новым чипом G200. Карты на его основе - Mystique G200 и Millennium G200 уже появились в продаже. Карты обладают не только лучшим на момент выхода 2D ускорителем но и одним из лучших 3D.

Все внимание разработчиков было уделено качеству 3D изображения. Все промежуточные вычисления идут в 32 бит True-color и, лишь при необходимости, результат преобразуется с помощью высококачественного дизеринга в 16 бит Hi-color представление. Архитектура карты 128-разрядная, DualBus содержит две независимые параллельно работающие 64-разрядные шины. Чип предназначен только для работы с шиной AGP 2x и, что характерно для всех AGP ускорителей, поддерживает DiME (Direct Memory Execution хранение текстур как в локальной памяти, так и в системной памяти компьютера). Подобный подход являлся ключевой идеей при разработке AGP шины и используется всеми без исключения ранее описанными AGP ускорителями. Пропускная способность порядка 1.5 миллионов треугольников в секунду, fill rate 100 миллионов пикселей в секунду.

Аппаратно реализованы попиксельный мипмэппинг, трилинейная фильтрация. 32-битная z-буферизация, полное и краевое сглаживание. Поддержка до 16 MB SGRAM или SDRAM. RAMDAC 230 или 250 МГц, в зависимости от модели карты. Поддержка Direct3D 6.0 и полный OpenGL. Чисто субъективно качество 3D очень высокое, особенно в 32 бит True-color режимах, где оно вполне способно превзойти i740. Максимальное 3D разрешение в режиме True-color 1280x1024, в 2D обещаны 1920x1200, необходимые для различных профессиональных применений.

У этой карты большое будущее, ее можно смело рекомендовать людям, имеющим большие мониторы и профессионально занятым графикой, дизайном и т.д. Карта с 8 Мб памяти будет стоить порядка $130. Производительность в Quake порядка 55 кадров в секунду. Платы: Matrox Mystique G200 (вариант для игрового использования), Matrox Millennium G200 (профессиональный вариант с RAMDAC 250 МГц).

Также будет выпускаться специальная версия платы на основе G200 -- Marvel G200 с RAMDAC 350 MHz, встроенным TV-тюнером, видеозахватом и аппаратным сжатием по MPEG2. Для тех кто увлекается видео дома, карта наверное должна стать неплохим выбором. Кстати, Matrox планирует (по крайней мере в штатах) продавать эту плату в паре с 21" монитором ViewSonic. В комплект поставкибудет входить программное обеспечение для нелинейного редактирования видео -- Avid Cinema. Вообще, Matrox в отношении Marvel G200 демонстрирует интересную политику. К тому, что для Европы делается своя коробка, в которой может идти свой набор софта мы давно привыкли, но чтобы сама карта выпускалась в разных вариантах, это что-то новое. В США, Тайване, Японии карта выйдет как Marvel G200-TV, а в Европе просто как Marvel G200. TV в данном случае обозначает не TV-выход, а скорее наоборот - TV-тюнер. Утверждают, что все дело в разных стандартах - NTSC и PAL/SECAM. Все остальное в двух версиях идентично. Что самое интересно, в том числе и цена - $329 как за карту с тюнером, так и без. Ну очень интересный подход к ценам.

S3

Фирма, поставляющая 80 чипов для акселераторов нижнего уровня впервые выходит на рынок с мощным игровым акселератором Savage3D. Первая карта, построенная на его основе начнет продаваться уже в конце августа за рубежом и вскоре дойдет до нашего рынка. Вероятно через некоторое время "становления" этот чип будет обеспечивать наилучшее соотношение цена/производительность, как и все прочие творения фирмы S3.

Savage3D это 128-разрядная архитектура, объем локальной памяти 2-8 MB 125-MHz SGRAM, Fill rate 125 миллионов пикселей в секунду с однопроходной трилинейной фильтрацией, пропускная способность порядка 5 миллионов полигонов в секунду (Заметим, что эти параметры ничуть не уступают RivaTNT). Поддержка 3D в True-color режимах и Hi-color с высококачественным дизерингом. Анизотропная фильтрация (это еще лучше, чем трилинейная). Аппаратно поддерживаются процедурные текстуры (передовая технология, но игр использующих ее пока нет), 24-битная и 16-битная z-буферизация, краевое сглаживание и табличный туман. Осуществляется компрессия текстур, по патентованной технологии S3TC, которую лицензировала Microsoft для DirectX 6. Поддержка AGP 2X с DiME. Чип содержит внутренний RAMDAC 250 МГц. Максимальное разрешение 1600*1200 как в 3D так и в 2D. Сразу после выхода чипа станут доступны драйвера для Direct3D 6.0 (еще не появившегося официально) и полный OpenGL, что является несомненным преимуществом.

Следует обратить внимание на два новшества, выделяющих эту карту в техническом плане - мощная компрессия текстур, способная уменьшить загрузку шины и процедурные текстуры, использование которых могло бы значительно облегчить программистам реализацию красивых 3D материалов и эффектов в играх, например воды или огня. Производительность в Quake порядка 60 кадров в секунду. Первая карта с 8 Мб будет доступна по цене $149: Hercules Terminator BEAST. Также анонсировали производство плат на базе этого чипсет STB (Nitro 3200) и Diamond Multimedia.

PowerVR

Подобный подход обеспечивает рост fill rate вне зависимости от пропускной способности памяти, простым добавлением обрабатывающих элементов и,… Платы на базе данного чипа требуют наличие обычной видеокарты, как и наборы… Также явным преимуществом является отсутствие необходимости в буфере кадра, в результате чего вся память ускорителя…

Rendition

Чип оборудован последовательным цифровым видео-входом и выходом. Имеет специальные команды для реализации MPEG распаковщика и закраски… Огромный недостаток - отсутствие True-color и слабое 2D (медленнее чем S3… Fill rate порядка 50 миллионов пикселей, пропускная способность 500-700 тысяч треугольников. Поддерживается полный…

Dlabs

Фирма традиционно разрабатывавшая профессиональные OpenGL ускорители выпустила чип Permedia, а затем и Permedia 2 нацеленные на рабочие станции нижнего уровня. Эти чипы можно рекомендовать только для использования в CAD применениях и 3D моделировании. Их драйвера не способна достигать производительности выше 20 кадров в секунду на игровых программах, в результате ориентации на точное соответствие всем OpenGL возможностям и поддержку оптимизации больших сцен, не свойственных играм.

Некоторые фирмы позиционируют карты на базе Permedia 2 как игровые ускорители (кстати, с подачи самой 3Dlabs), но это абсолютно не верно. Несмотря на небольшую цену (порядка $140 за карту с 8 Мб памяти) чип и его драйвера ориентированны на дизайнера, работающего с 3D Studio MAX, SoftImage 3D или инженера с Euclid CAD, но не имеющего возможности приобрести мощный и дорогой профессиональный ускоритель.

Обзор подобнах карт выходит за рамки данной статьи, и я ограничусь их перечислением:

§ AccelGraphics AccelSTAR II

§ Britek Viewtop 3D Mars-2

§ Cardex Power 3D 2

§ Creative Graphics Blaster Exxtreme

§ Densan 3D MaxiGrafx PD200

§ Diamond FireGL 1000 Pro

§ Elitegroup 3DVision-PAGP

§ ELSA Gloria Sinergy

§ ELSA Winner 2000/Office

§ Hercules Dynamite 3D/GL

§ Leadtek WinFast L2300

§ MaxVision MaxGraphix 3DmaxP2

§ Omnicorp Divine3D

§ RealVision Power 3DGL-II

§ Symmetric GLyderMAX-2

Недавно компания 3DLabs анонсировала свой новый чипсет PERMEDIA 3. Обещано, что P3 будет выдавать 250 миллионов текселей за одну секунду, накладывая при этой скорости по две текстуры за один проход. Попутно применяя прозрачность, туман и т.п. Это с включенным Z-буфером. Ориентирован новый чипсет главным образом на работу с DirectX 6.0. Внутренняя шина - 128-бит.

По утверждению разработчиков максимальная скорость обтекстуривания полигонов составляет 8 миллионов треугольников в секунду. На случай, если процессор не будет в состоянии генерить их с такой скоростью, PERMEDIA 3 обладает собственным их генератором - Delta. Способна держать на борту от 4 до 16Мб как SDRAM'a, так и SGRAM'а, работающего на частоте до 200Мгц. RAMDAC работает на скорости 270Мгц, делая возможными такие разрешения, как 1280х1024 при частоте обновления 137 Гц. Стоить это чудо после запуска в производство должно $45 в очень оптовых партиях (речь идет только о чипе). А пойдет оно в производство уже во второй половине 1998 года.

Прикупив по случаю компанию Dynamic Pictures, 3Dlabs начала выпускать под своей эгидой известные своей возможностью работать с множественными потоками чипсеты Oxygen. Первый анонсированный чипсет имеет название Oxygen RPM 3D, разумеется ориентирован только на OpenGL. Чипсет интересен тем, что допускает работу в связке из двух или четырех Oxygen RPM 3D одновременно, что существенно расширяет возможности плат, построенных на его основе. Четырехпроцессорная плата на базе чипсетов Oxygen RPM 3D сможет обеспечивать заливку текстур со скоростью 120 млн пикселей в секкунду с использованием билинейной фильтрацией или со скоростью 60 млн пикселей в секунду с использованием трилинейной фильтрации. Чипсет позволяет работать в разрешении 1600x1200 с истинным представлением цвета, поддерживается вывод стереоизображений, имеет два RAMDAC. Поставки ожидаются в конце 1998 г.

ATI

Достаточно распространенные на нашем рынке карты серии ATI Xpert основываются на последнем чипе ATI - 3D RAGE PRO. К сожалению, несмотря на отличное качество карт ATI, добротные драйвера и хорошую техническую поддержку эти карты нельзя называть адекватными современным требованиям 3D ускорителями из-за недостаточной производительности в реальных играх и некоторого числа некорректно реализуемых функций. Эти карты могут быть рассмотрены как хорошее и качественное 2D решение, с "приданным в нагрузку" 3D, по уровню производительности сравнимым с картами на основе Rendition V2200.

Примеры карт:

§ ATI Xpert XL

§ ATI Xpert@Play 98

§ ATI Xpert 98

§ ATI Xpert@Play

§ ATI Xpert@Work

§ ATI All-In-Wonder Pro

В августе 1998 года ожидается официальный анонс нового чипсета от ATI -- Rage128. Вполне логично предположить, что в основу Rage128 были положены идеи, заложенные в так и не увидивший свет ET6300 (Tseng была куплена ATi в прошлом году) и Warp5 (технология была куплена у OAK). Но уже сейчас имеются данные о грядущем Rage128:

§ Аппаратная поддержка массивов вершин

§ Рендеринг в 16- и 32-бит цветах и двух пикселей за один такт

§ Туман, видеотекстуры, тени, отражения

§ Трилинейная фильтрация и нанесение нескольких текстур за один проход

§ Удаление скрытых поверхностей с использованием 16-, 24- и 32-бит Z-буфера.

§ Рельефное текстурирование

§ Декодирование MPEG2/DVD

§ Высокооптимизированный 2D 128-бит движок

§ Краевой антиалиасинг

§ Пиксельный туман

§ 8-битные шаблоны

§ 250Мгц RAMDAC

§ AGP 2X/4X

§ Максимум памяти на борту - 32Мб

§ Fillrate - 180 миллионов текселов/сек

§ Цена - ~$200 за плату с 16Мб памяти.

В общем, ATI воспряла ото сна, и пытается не опоздать на отходящий паровоз 2D/3D ускорителей последнего поколения. Похоже им это удастся.

Ticket-to-Ride IV

§ Floating-point Triangle Setup производительностью 430 MFLOPS (миллионов операций с плавающей точкой) § Рендеринг с 32-битной глубиной цвета § 16- и 32-битная z-буфферизация

Voodoo Banshee

Общая информация

Технические характеристики: § 128-битный 2D § 16-битный Z-буфер с обработкой вещественных чисел с точностью до 22 разрядов

Matrox G200

Все видеокарты Matrox всегда славились своей надежностью, качеством, непревзойденной скоростью и опережающими время технологиями. Эта фирма все… Вообще, эта статья намечалась как описание этих чипов и сравнение их с… G100 нацелен на рынок домашних и офисных ПК. Его производительность будет превышать производительность любых других…

FORSAKEN

Все эти скриншоты сделаны при разрешении 640x480 и 16 битном цвете при частоте регенерации 120Hz (естественно при…

D Graphics

Двумерная графика. Графика, *действие* в которой происходит в одной плоскости. Например пользовательский интерфейс.

D Graphics

Трехмерная графика. Визуальное отображение трехмерной сцены или объекта. Для представления трехмерной графике на двумерном устройстве (дисплей) применяют рендеринг (см. Rendering).

D Pipeline

3D конвейер. Процесс построения 3D-изображения можно разделить на три последовательных этапа. На первом этапе объект преобразуется в мозаичную модель, т.е. происходит его разделение на множество многоугольников (полигонов). Следующий этап включает в себя геометрические преобразования и установки освещения. Наконец, заключительный этап, так называемый "рендеринг" (rendering), который является наиболее важным для качества 3D-изображения, создает двумерное изображение из полученных на предыдущих этапах многоугольников.

Alpha

Коэффициент прозрачности. В описание цвета (RGB) может входить специальный канал, называемый альфа каналом, который отвечает за прозрачность данного цвета. Т.о. цвет описывается как ARGB.

Alpha Blending (Alpha pixel blending)

Реальный мир состоит из прозрачных, полупрозрачных и непрозрачных объектов. Alpha Blending это способ передачи информации о прозрачности полупрозрачным объектам. Эффект прозрачности и просвечивания достигается путем смешивания значений цветов исходного и результирующего пикселей. Разделение изображения на многоугольники производится с использованием маски, плотность которой зависит от прозрачности объекта. В результате цвет точки является комбинацией цветов переднего и заднего плана. Обычно, Alpha имеет нормализованное значение от 0 до 1 для каждого цветного пиксела. Новый пиксел = (alpha)(цвет пиксела А) + (1 - alpha)(цвет пиксела В)

Alpha Buffer

Альфа буфер. Дополнительный буфер, в котором содержится информация о прозрачности, таким образом, пиксел имеет четырехзначное представление (RGBA), и в 32-разрядном буфере содержится 24 бита информации о цвете, т.е. 8 бит на каждый из цветов (красный, зеленый и синий), и 8 бит на значение alpha.

См. также Transparency

Ambient

Световой источник, который светит одинаково во всех направлениях. Все объекты освещаются с равной интенсивностью.

Anti-aliasing

Анти-алиасинг. Способ обработки (интерполяции) пикселов для получения более четких краев (границ) изображения (объекта). Наиболее часто используемая техника, для создания плавного перехода от цвета линии или края к цвету фона. В некоторых случаях, результатом является смазывание (blurring) краев.

Atmospheric Effect

Специальные эффекты, например туман, позволяющие улучшить рендеринг изображений реального мира.

Back buffer

Вторичный буфер. Область памяти, в которой рассчитываются объекты трехмерной сцены. Вывод изображения на экран осуществляется через Front Buffer (первичный буфер). Обычно процесс копирования содержимого вторичного буфера синхронизируется с обратным ходом луча ЭЛТ монитора. Таким образом достигается плавная смена кадров.

Bitmap

Способ кодирования изображения пиксел за пикселом.

Bilinear (bi-linear) Filtering

Метод устранения искажений изображения (устранение "блочности" текстур при их увеличении). При медленном вращении или движении объекта (приближение/удаление) могут быть заметны перескакивания пикселов с одного места на другое, т.е. появляется блочность. Для снижения этого эффекта при билинейной фильтрации берется взвешенное среднее значение цвета четырех смежных текстурных пикселов (texels) и в результате определяется цвет текстуры.

BitBLTs

BitBLT = Bit Block Transfer. БитБлет. Наиболее важная функция для ускорения графики в средах, использующих оконный интерфейс GUI (Graphic User Interface). BitBLT - фактически означает просто перемещение блока данных из одного места в другое, которое производится с учетом требований графической памяти. Например, эта функция используется при каждом перемещении окна, таким образом BitBLT - просто передача блока пикселов. Более сложное использование этой функции связано с ситуациями, требующими некоторого преобразования исходных данных, например, когда каждый "одноцветный" бит исходных данных расширяется до "цветного" с использованием цветовых палитр переднего или заднего плана перед тем, как он будет выведен на экран.

Blending

Блендинг. Комбинирование двух или более объектов с использованием некоторого базиса пикселов.

Buffer

Буфер. Область временного хранения данных, часто используется для компенсации разницы в скорости работы различных компонентов системы. Часто, в качестве буфера используется дополнительная память, зарезервированная для временного хранения данных, которые передаются между центральным процессором системы и периферией (такой, как винчестер, принтер или видеоадаптером). Особенно полезен буфер для компенсации разницы в уровнях интенсивности потоков данных, для обеспечения места размещения данных, когда процессы асинхронны (например, данные переданные в контроллер видеоплаты должны дождаться, когда графический процессор закончит выполнение текущей операции, и считает новую порцию информации), и для сохранения данных в неизменном виде (как буфер для видеокадра). Некоторые буферы являются частью адресуемой памяти центрального процессора системы, другие буферы памяти являются частью периферийных устройсв.

Chroma Keying

Chroma Keying или текстурная прозрачность - возможность определять основной цвет в карте текстур и делать его прозрачным в процессе текстуирования изображения. В связи с тем, что не все объекты легко моделируются с использованием многоугольников, сhroma keying используется при включении в сцену сложных объектов в виде карт текстур.

Color

Цвет. Это индивидуальные компоненты белого света, по разному воспринимаемые человеческим глазом. Цветные мониторы используют три основных компонента цвета, на которые реагирует человеческий глаз: красный, зеленый и голубой. Цвет, который в итоге отображается на экране, образуется в результате смешения этих трех основных цветов.

Colored lighting

Цветовое освещение. Освещение источниками разного цвета, при этом происходит смешение цвета. Совсем недавно цветовое освещение стало использоваться в новейших 3D играх (Quake2, Unreal, Prey, Half Life).

Computer graphics

Компьютерная графика. Общее направление, описывающее создание или манипуляцию графическими изображениями и изобразительными данными с помощью компьютера. Может использоваться в CAD, анимации, дизайне, архитектуре, деловой графике и т.д. Системы для компьтерной графики обычно являются интерактивными, т.е. отображают изображение на дисплее таким, каким оно создано, или в виде, в который преобразована исходная картинка.

Depth Cueing

Уменьшение интенсивности освещения текстур при удалении объекта от точки наблюдения.

Directional

Световой источник, который освещает одинаково все объекты сцены, как бы из бесконечности в определенном направлении. Обычно используется для создания удаленных световых источников (таких как Солнце).

Dithering

Способ получения изображения 24-битного качества с использованием 8- или 16-битных буферов. Два цвета используются для моделирования третьего, и обеспечиваются плавные переходы между элементами изображения.

Double Buffering

Flat Shading (Flat) Метод затенения, называемый также постоянным затенением. Поверхность объекта,…

Fog

Вид blending для объекта с фиксированными цветом и пикселами, удаляющимися от точки наблюдения.

Fogging

Затуманивание. Образуется за счет комбинирования смешанных компьютерных цветовых пикселов с цветом тумана (fog) под управлением функции, определяющей глубину затуманивания.

FPS, frames per second

Частота смены кадров. Чтобы оценить быстродействие системы трехмерной визуализации, достаточно запустить приложение, динамически создающее трехмерные сцены, и подсчитать число кадров в секунду, которое система способна отобразить. Однако, единого, достаточно авторитетного теста такого рода еще не создано. Большинство имеющихся тестов, основаны на фрагментах трехмерных игр и проверяют поведение графической карты на весьма ограниченном наборе функций.

Например, известная фирма Ziff Davis, выпустила тестовый пакет 3D Winbench'98.

Frame buffer

Буфер кадра. Специально отведенная область памяти компьютера или отдельной платы для временного хранения данных о пикселах, требуемых для отображения одного кадра (полного изображения) на экране монитора. Емкость буфера кадра определяется количеством битов, задействованных для определения каждого пиксела, который должен отображать изменяемую область или количество цветов и их интенсивность на экране.

Front buffer

Первичный буфер. Область памяти из которой происходит вывод кадра на экран (расчет производится в back buffer).

Gamma

Характеристики дисплеев, использующих фосфор, нелинейны. Небольшое изменение напряжения, когда общий уровень напряжения низок, приводит к изменению уровня яркости, однако такое же небольшое изменение напряжения не приведет к такому же заметному изменению яркости в случае, если общее напряжение велико. Этот эффект или, точнее, разница между тем, что должно быть и тем, что реально измерено, называется гаммой.

Gamma Correction

Gouraud Shading (Smooth shading) Затенение методом Гуро (или плавное затенение), один из наиболее популярных…

Hidden Surface Removal

Удаление скрытых поверхностей. Метод определения видимых для наблюдателя поверхностей. Позволяет не отображать, невидимые из данной точки, поверхности объекта.

Interpolation

Интерполяция - математический способ восстановления отсутствующей информации. Например, необходимо увеличить размер изображения в 2 раза, со 100 пикселов до 200. Недостающие пикселы генерируются с помощью интерполяции пикселов, соседних с тем, который необходимо восстановить. После восстановления всех недостающих пикселов получается 200 пикселов вместо 100 существовавших, и таким образом, изображение увеличилось вдвое.

Interactive

Интерактивнось. Этим термином описывается поведение прикладной программы, с помощью которой пользователь может влиять на результат деятельности приложения, имея возможность немедленно добавить, изменить, или удалить получающийся результат.

Lighting

Существуют разные методы, использующие реалистичные графические эффекты, для отображения 3D объектов на двумерном дисплее. Один из них - освещение. Используются разные уровни яркости (светло-темно) при отображении объекта для придания ему объема.

Line Buffer

Линейный буфер - буфер памяти, используемый для хранения одной линии видеоизображения. Если горизонтальное разрешение дисплея установлено равным 640 и для кодирования цвета используется схема RGB, то линейный буфер будет иметь размер 640х3 байт. Линейный буфер обычно используется в алгоритмах фильтров.

MIP Mapping

Occlusion

Эффект перекрытия в трехмерном пространстве одного объекта другим.

Palletized Texture

Формат хранения текстур в сжатом виде (1-, 2-, 4- и 8-битный формат вместо 24-битного). Обеспечивает возможность хранения большего числа текстур в меньшем объеме памяти.

Parallel point

Световой источник, который освещает равномерно все объекты параллельным пучком света.

Perspective Correction

Один из способов создания реалистичных объектов. Рассматриваются величины Z (глубина) при разделении объекта на многоугольники. При создании современных игр, разработчики обычно используют довольно большого размера треугольники, для описания поверхности объекта, и используют текстурные карты, для более точного и детального изображения. Без этого качество картинки было бы гораздо хуже.
Если 3D объект движется от наблюдателя, то уменьшаются его линейные размеры (высота и ширина). Без использования функции perspective correction обект будет дергаться и двигаться нереалистично. С каждым уровнем скорректированной перспективы происходят изменения на пиксел, в зависимости от глубины. Так как при этом происходит деление на пикселы, то требуются очень интенсивные вычисления.

Pipeline

Конвейер. В случае с графикой - серия шагов по созданию и отображению трехмерного изображения. Первый шаг - трансформация - создается трехмерный объект и отображается на плоскость. Второй шаг - добавление освещенности объекту. Третий шаг - рендеринг цветов и теней многоугольников для соответствующих текстур.

Pixel

Пиксель. Комбинированный термин, обозначающий элемент изображения, являющийся наименьшим элементом экрана монитора. Другое название - pel.
Изображение на экране состоят из сотен тысяч пикселей, объединенных для формирования изображения. Пиксель является минимальным сегментом растровой строки, которая дискретно управляется системой, образующей изображение. С другой стороны, это координата, используемая для определения горизонтальной пространственной позиции пикселя в пределах изображения. Пиксели на мониторе - это светящиеся точки яркого фосфора, являющиеся минимальным элементом цифрового изображения. Размер пикселя не может быть меньше точки, которую монитор может образовать. На цветном мониторе точки состоят из групп триад. Триады формируются тремя различными фосфорами: красным, зеленым и синим. Фосфоры располагаются вдоль сторон друг друга. Пиксели могут отличаться размерами и формой, в зависимости от монитора и графического режима. Количество точек на экране определяются физическим соотношением ширины к высоте трубки.

Pixel blending

Метод смешивания цветов текущего пикселя и пикселя, находящегося уже в буфере кадра, для получения выходного пикселя. Если ввести следующие обозначения: R1, G1, B1, A1, где каждый из символов соответственно представляет красную, зеленую, синюю и альфа компоненты текущего пикселя. Тогда R2, G2, B2, A2 - аналогично для пикселя, уже находящегося в буфере.

Source Alpha Pixel Blending - добавление прозрачности, т.е. - (R1*A1+R2*(1-A1), G1*A1+G2*(1-A1), B1*A1+B2*(1-A1))

Add Pixel Blending - суммирование цветов, т.е. (R1+R2, G1+G2, B1+B2)

Modulate Pixel Blending - модуляция цветов, т.е. (R1*R2, G1*G2, B1*B2)

Phong Shading

Наиболее эффективный из всех известных методов затенения, позволяющий получить реалистичное освещение. Прекрасная реалистичность достигается за счет вычисления объема освещения для каждой точки, вместо множества многоугольников. Каждый пиксел получает свой собственный цвет на основе модели освещения, направленного на этот пиксел. Этот метод требует более интенсивных вычислений, чем метод Гуро.

Point

Световой источник, который светит одинаково во всех направлениях из одной точки (например лампочка в комнате).

Projection

Процесс преобразования трех размерностей в две. Т.е. преобразование видимой части 3D объекта для отображения на двумерном дисплее.

Rasterization

Разделение объекта на пикселы.

Ray Tracing

"Трассировка лучей" - один из самых сложных и качественных методов построения реалистических изображений. Наиболее распространен вариант "обратной трассировки лучей": от глаза наблюдателя, через пиксел строящегося изображения, проводят луч и, учитывая все его отражения от объектов, вычисляют цвет этого пиксела.

RGB

Система цветообразования, в которой конечный цвет получается за счет смешения, с различной интенсивностью, трех основных цветов: красного (Red), зеленого (Green) и синего (Blue). Самое известное устройство, которое использует систему RGB, это цветной монитор.

Real-time

Режим реального времени, при этом иммитируемые события происходят так же, как и в реальной жизни. Для достижения этого используется синхронизация со встроенным таймером компьютера.

Rendering

Процесс создания реалистичных изображений на эране, использующий математические модели и формулы для добавления цвета, тени и т.д.

Rendering Engine

Дословно - устройство рендеринга. Часть графической системы, которая рисует 3D- примитивы, такие как треугольники или другие простые многоугольники. Практически во всех реализациях системы rendering engine отвечает за интерполяцию краев (границ) объектов и заполнение пикселами многоугольников.

Resolution

Разрешение. Количество пикселей представленное битами в видеопамяти, или адресуемое разрешение. Видеопамять может организовываться соотношением пикселов (битов) по оси x (пикселы на строке) к числу пикселов по оси y (столбцы) и к размеру отводимой памяти на представление глубины цвета. Стандартная видеопамять VGA 640 пикселов на 480 пикселов и, обычно, с глубиной представления цвета 8 бит. Чем выше разрешение, тем более детально изображение, тем больше нужно хранить о нем информации. Но не вся хранимая информация может быть отображена на дисплее.

Scissors Clip (Scissoring)

Устанавливается положение контрольного пиксела относительно вырезаемых многоугольников, и многоугольник отбрасывается, если он находится вне отображаемой зоны. Т.е. сокращаются размеры буфера кадра, за счет вырезания "ненужных" многоугольников.

Set-up Engine

Set-up engine позволяет драйверам передавать многоугольники в rendering engine в виде информации об адресах их вершинах, в то время, как, обычно, информация предварительно обрабатывается центральным процессором и передается в терминах изменения (дельт) границ, цвета и текстуры. Таким образом, set-up engine переносит обработку соответствующих данных с центрального процессора на графический чипсет, сокращая таким образом требования к скорости шины на 30% для обработки маленьких, случайно расположенных треугольников, и на пропорционально большее значение для больших многоугольников.

Span

В растровой графике примитивы формируются с помощью преобразования линий развертки, каждая из которых пересекает примитив в двух точках (Р-левая и Р-правая). Последовательность пикселов на линии, расположенная между этими двумя точками называется span. Каждый пиксел внутри span содержит значения величин z, R, G, B.

Specular highlights

Световая характеристика, которая определяет то, как свет будет отражаться от объектов.

Spot

Световой источник, похожий на точечный. Он светит не во всех направлениях, а в пределах некого конуса. Освещаются только объекты, попадающие в этот конус.

Stippling

Создание контурных изображений, т.е. "рисование пунктиром".

Tessellation

Процесс деления изображения на более мелкие формы. Для описания характера поверхности объекта она делится на всевозможные многоугольники. Наиболее часто при отображении графических объектов используется деление на треугольники и четырехугольники, так как они легче всего обсчитываются и ими легко манипулировать.

Texel

Элемент текстуры - определенный пиксель в текстуре.

Texture Anti-aliasing

Удаление нежелательных искажений растровых изображений с помощью интерполяции текстурных изображений.

Texture Mapping

Texture mapping базируется на сохраненных битмэпах, состоящих из текстурных пикселов. На объект "натягивается" текстурное изображение для создания реалистичного представления объекта в трехмерном пространстве.

Transformation

Изменение координат. Последовательность математических операций над выходными графическими примитивами и геометрическими атрибутами, для преобразования их из рассчетных координат в системные координаты.

Transparency

Прозрачность. В компьютерной графике цвет часто описывается в терминах RGB величин, или величинами красного, зеленого и синиго цвета. Существует еще коэффициент Alpha (альфа), являющийся дополнительным компонентом цвета, который используется для смешения. Коэффициент Alpha может также использоваться в качестве величины, отвечающей за степень прозрачности, т.е. величины, определяющей можно ли видеть сквозь цвет или нет. Наиболее важное значение коэффициент Alpha, или прозрачность, имеет в 3D графике, благодаря его использованию для создания нерегулярных объектов, применяя для этого лишь несколько многоугольников.

Triangle strip and fans

Tri-linear Filtering (Tri-linear MIP Mapping) Метод уменьшения искажений в картах текстур, использующий билинейную… Для получения изображения берется взвешенное среднее значение результатов двух уровней билинейной фильтрации.…

True color

Цвет с глубиной представления 24 или 32 бит.

Vertex

Точка в трехмерном пространстве, где соединяются несколько линий.

Z-buffer

Часть графической памяти, в которой хранятся расстояния от точки наблюдения до каждого пиксела (значения Z). Z-buffer определяет, какая из многих перекрывающихся точек наиболее близка к плоскости наблюдения.
Также, как большее число битов на пиксель для цвета в буфере кадра соответствует большему количеству цветов, доступных в системе изображения, так и количество бит на пиксель в z-буфере соответствует большему числу элементов. Обычно, z-буфер имеет не менее 16 бит на пиксел, для представления глубины цвета. Аппаратные акселераторы 3D графики могут иметь собственный z-буфер на графической карте, чтобы избежать удвоенной нагрузки на системную шину при передаче данных. Некоторые рализации Z-buffer используют для хранения не целочисленное значение глубины а значение с плавающей запятой от 0 до 1.

Z-buffering

Процесс удаления скрытых поверхностей, использующий значения глубины, хранящиеся в Z-буфере. Перед отображением нового кадра, буфер очищается, и значения величин Z устанавливаются равными бесконечности. При рендеринге объекта устанавливаются значения Z для каждого пиксела: чем ближе расположен пиксел, тем меньше значение величины Z. Для каждого нового пиксела значение глубины сравнивается со значением, хранящимся в буфере, и пиксел записывается в кадр, только если величина глубины меньше сохраненного значения.

Z-sorting

7.6. Выводы Нетрудно заметить, что почти все производители обещаю примерно одно и тоже,… Мы постарались рассказать о всем, что, на наш взгляд, заслуживает внимания. Надеемся, что у вас сложилось мнение о…

Стандарт Cell

Стандарт NV

Подразделение PARC компании Xerox предложило метод компресии NV (Network Video). Метод используется чаще всего в системах телеконференций, работающих в Internet. На первом шаге алгоритма текущее изображение сравнивается с предыдущим и выделяются области, в которых произошли значимые изменения. Компрессии и последующей пересылке подвергаются только эти области. В зависимости от того, что является лимитирующим фактором -- полоса пропускания канала связи или вычислительная мощность оборудования, для компрессии используются либо преобразование Фурье, либо преобразование Гаара. После квантования преобразованного изображения достигается степень сжатия до 20:1.

Стандарт CU-SeeMe

Стандарт Indeo Фирма Intel разработала метод компрессии/декомпрессии Indeo. В основе метода… 8.4. Виды видеоконференций

ISDN

(Integrated Services Digital Network) - цифровая сеть с интеграцией услуг - цифровая телефонная служба нового поколения. Существуют две разновидности ISDN. Интерфейс основной скорости (BRI, basic rate interface), работающий на скорости 128 Кбит/с, - наиболее распространенная транспортна среда для настольных систем видеоконференций, совместимых с H.320. Интерфейс первичной скорости (PRI) ISDN обеспечивает пропускную способность 1,54 Мбит/с для задач, требующих более высокой скорости передачи.

Наиболее распространенная сетевая инфраструктрура для систем видеоконференцсвязи - цифровые сети с интеграцией услуг. При скорости передачи 128-512 кбит/с они позволяют добиться частоты развертки 30 кадров/с. Как показывают исследования, именно такая частота смены кадров обеспечивает наиболее комфортное для пользователя видеоизображение. Западные аналитики рекомендуют использовать для проведения видеоконференций корпоративного уровня полосу пропускания 384 кбит/с, т. е. три канала ISDN BRI, каждый из которых обеспечивает скорость передачи 128 кбит/с.

ATM и frame relay

Сеть АТМ, как и ISDN, интегрирует данные различных типов - текстовые, графические, аудио и видео. Реализация в АТМ принципа коммутации ячеек обеспечивает высокую пропускную способность с возможностью масштабирования, практически снимает проблему задержек и гарантирует качество предоставляемых услуг. Поэтому ATM-технологию можно считать почти идеальной для мультимедийных приложений, в частности видеоконференций. Однако это достаточно дорогая и еще не вполне устоявшаяся технология, поэтому поставщики систем видеоконференцсвязи проявляют по отношению к ней определенную осторожность.

Технология frame relay разрабатывалась, прежде всего, как средство эффективной передачи пакетов данных и уступает АТМ с точки зрения оптимизации сетевого трафика и предоставления гарантированного сервиса. Тем не менее сети frame relay все больше используются как экономичное средство передачи аудио- и видеоинформации в масштабах крупных корпораций.

Internet

8.6. Обзор программного обеспечения Настольные системы для проведения видеоконференций (desktop) имели раньше… В настоящее время большинство проблем такого рода успешно разрешено. Цены быстро снижаются, простота использования и…

LIVELAN

LiveManager функционирует под Windows NT и обеспечивает управление видеоконференцией с факультативными возможностями ограничения пропускной… Приложение LiveManager позволяет управлять службами LiveManager на удаленных… LiveLAN поддерживает H.323; но нестандартные функции данного продукта отличаются большим разнообразием. Например,…

CU-SeeMe

В пакет CU-SeeMe включено приложение Four11 той же компании, позволяющее зарегистрировать свой IP-адрес в каталоге, расположенном на Web, благодаря… Пакет CU-SeeMe поддерживает многосторонние конференции, хотя для этого… В состав CU-SeeMe и VideoPhone включены также резидентные "слушающие" программы, которые автоматически…

NetMeeting

В конференции данных может принять участие несколько человек, но аудио- или видеоконференции рассчитаны исключительно на двух участников. Тем не… Программное обеспечение NetMeeting можно загрузить бесплатно с узла Internet… Установить клиента NetMeeting несложно. Setup Wizard определяет, какое имеется аппаратное обеспечение для аудио и…

– Конец работы –

Используемые теги: мультимедиа, Технология0.046

Если Вам нужно дополнительный материал на эту тему, или Вы не нашли то, что искали, рекомендуем воспользоваться поиском по нашей базе работ: МУЛЬТИМЕДИА ТЕХНОЛОГИЯ

Что будем делать с полученным материалом:

Если этот материал оказался полезным для Вас, Вы можете сохранить его на свою страничку в социальных сетях:

Еще рефераты, курсовые, дипломные работы на эту тему:

Конспекты лекций По дисциплине Организация и технология обслуживания в барах для специальности 260501 Технология продуктов общественного питания
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ... ВОРОНЕЖСКАЯ ГОСУДАРСТВЕННАЯ ТЕХНОЛОГИЧЕСКАЯ... Факультет среднего профессионального образования...

Технология Сверхбольших интегральных схем (Технология СБИС)
Получение химически чистого Si в 10 раз дешевле, чем Ge. Вышеперечисленные преимущества кремниевой технологии имеют место в связи со следующими его… Исходным сырьем для микроэлектронной промышленности является электронный… После проведения подготовительных технологических циклов механической обработки слитков, подготовки основных и…

Технология серной кислоты и Технология минеральных удобрений – самостоятельные дисциплины.
На сайте allrefs.net читайте: Технология серной кислоты и Технология минеральных удобрений – самостоятельные дисциплины....

Обучение иностранному языку с использованием компьютерных технологий: мультимедиа комплекс "Linguist"
Поэтому, проблема модернизации учебно-методического комплекса (УМК) ложится на плечи обучающего.Процесс обучения английскому языку является… Компьютеризация обучения иностранному языку, помогает облегчить доступ к… Многие ВУЗы и школы используют компьютерные технологии и программное обеспечение для обучения ИЯ, которое предлагает…

Модулятор и волоконно-оптическая линия связи для передачи телефонного сигнала. Конструкция и технология сборки

Технология допечатных и печатных процессов
В результате изменяются и единичные показатели качества. Следовательно, контроль единичных параметров должен проводиться на протяжении всего… В случае несоблюдения режимных требований, на оттисках возникают дефекты,… Ш Муарообразование. Оно связано с неправильным изготовлением печатных форм. Данный дефект неустраним и форму…

Проблемы корректуры в условиях новых информационных технологий
Современный русский нормативный язык взывает к тому, чтобы кто-то и в ХХI веке зорко стоял на страже его законов, норм, правил. К сожалению, это… Массовая языковая безграмотность населения, раньше от наших глаз скрытая… Ускорение же издательских процессов провоцирует иногда появление на свет вопиющих фактов литературы.К таковым…

Витражи Тиффани - технология работ
Суть метода состоит в следующем: каждый кусочек цветного стекла оборачивается по периметру клейкой медной фольгой. Затем все обернутые кусочки… Алмазным стеклорезом практически невозможно вырезать по изогнутым линиям,… Масло из него выделяется на ролик при надавливании самого стеклореза о стекло. Расход масла невелик, но периодически…

Химическая технология волокнистых материалов. Крашение тканей
Наиболее трудно удаляются жировые вещества, замасливатели, жиропот. Чаще всего эта операция основана на эмульгировании и омылении жиров и масел. С… Используемое оборудование: жгутомойные машины и линии непрерывного действия. В… Карбонизация – это процесс обработки шерстяной ткани раствором H2SO4 c последующей термообработкой и промывкой для…

Педагогические условия использования новаторских технологий К. Орфа в обучении детей музыке
В поисках новых форм и методов обучения незаменимую роль может сыграть изучение истории музыкальной педагогики, накопившей богатый арсенал приемов и… Между этими школами осуществляется обмен опытом, происходит процесс… С другой стороны, эти влияния могут вести к потере культурного своеобразия. Причем отрицательное, по существу…

0.037
Хотите получать на электронную почту самые свежие новости?
Education Insider Sample
Подпишитесь на Нашу рассылку
Наша политика приватности обеспечивает 100% безопасность и анонимность Ваших E-Mail
Реклама
Соответствующий теме материал
  • Похожее
  • По категориям
  • По работам
  • Использование рекламных технологий в продвижении бренда Темы и их краткое содержание Раздел I. Форма и содержание рекламного продукта Тема 1. Психология восприятия рекламного продукта потребителем… Различия индивидуального и массового восприятия. Эффекты Миллера, Мильщтейна.
  • Роль новых информационных технологий в современных международных отношениях Теоретическое осмысление современных международных отношений без учета роли новых информационных технологий становится просто невозможным. Подобные… Осознание природы этих изменений - необходимая предпосылка для решения… В наше время информация в основной своей массе является продуктом данных, собранных электронными сенсорами.…
  • Классификация социальных технологий Технологизация любого процесса возможна при наличии следующих условий: во-первых, процесс должен иметь определенную структуру сложности, которая… Социальная технология, как правило, является ответом на некоторую назревшую… В процессе осуществления социальных технологий может изменяться объект воздействия, что, в свою очередь,…
  • Инновационная технология терапии воспоминаниями в практике социокультурной реабилитации Использование воспоминаний способствует восприятию пожилого человека в качестве субъекта социального действия, которому присущи активность, опора на… В Бюджетном учреждении социального обслуживания Ханты - Мансийского… Уже создано 4 выпуска по результатам анализа сведений, собранных в банке информационных данных, и проведения серии…
  • Группы самопомощи как технология социальной работы Вне зависимости от своих предшественников, современные группы самопомощи создаются, чтобы хоть отчасти удовлетворить терапевтические потребности… Самая старая, самая крупная и наиболее известная из существующих… Кроме того, хорошо известны организации самопомощи Корпорация «Выздоровление» для бывших пациентов психиатрических…