Тема: Обробка і відновлення музичних сигналів
Тема: Обробка і відновлення музичних сигналів.
Питання:
Задачі і етапи реставрації музичних сигналів.
Основні етапи процесу розпізнавання.
Визначення властивостей музичних сигналів, що підлягають розпізнаванню.
Вимоги до системи розпізнавання музичних сигналів
Структурна схема системи.
Представлення даних в системах розпізнавання музичних сигналів
Формати представлення музики і звуку
Розробка процесора реставрації музичних сигналів
Розробка алгоритму розпізнавання багатоголосних музичних сигналів.
Розробка алгоритму визначення основних тонів звукових об’єктів, що перекриваються у часі.
Розробка алгоритму опрацювання сигналу на основі розпізнавання
Розробка функціональної схеми системи опрацювання музичних сигналів
Дослідження структури звукових об’єктів
1. Усунення „зайвих” спектральних складових (компонентів спектру, що не містяться у вихідній фонограмі по закінченню процесу її формування, -… 2. Відновлення компонентів спектра, що втрачені із-за лінійних спотворень -… Очевидно, що вихідна форма сигналу невідома і тому відтворення можливе з деякою ймовірністю. Достовірність відтворення…
Основні етапи процесу розпізнавання
Основні етапи процесу розпізнавання такі:
- приймання на вхід об’єкта, який розпізнається;
- співставлення апостеріорної інформації поступаючого об’єкта з апріорним описом класів всіх об’єктів, що підлягають розпізнаванню (об’єктів, на які розрахована система);
- прийняття рішення про віднесення об’єкта, образ якого був прийнятий, до одного з класів.
1. Енергетичні параметри:
- розмах сигналу;
- потужність сигналу;
1. Система забезпечує сегментацію, визначення частот основних тонів і амплітуд обертонів. При побудові засобів сегментації використовується два… - необхідним і основним параметром сигналу за яким здійснюється сегментація є… - для сегментації поліфонічних мелодій необхідно розділити сигнал на вузькосмугові компоненти.
Структурна схема системи
Вхідний сигнал проходить по двох вітках схеми: в одному він опрацьовується, а в другому залишається практично без змін (крім фільтрації). У вихідному суматорі опрацьований і вихідний сигнал змішуються у встановлених користувачем співвідношеннях.
До складу системи як елемент повинен входити генератор гармонік, який синтезує гармоніки верхньої частини спектру вихідного сигналу, який виділив фільтр верхніх частот. Причому, для синтезу вибирається одна з гармонік, найчастіше – друга, як така, що найбільш благозвучно сприймається з вихідним сигналом, потужність вищих гармонік набагато менша. Тобто сигнал спотворюється.
Суматор формує вихідний сигнал опрацювання, визначаючи долю вмісту гармонік. Спотворений фільтром верхніх частот сигнал поступає для сумування з вихідним сигналом.
1. По наявності локальних максимумів амплітудного спектру, який є більшим від певного порогу, судять про наявність гармонійних (на відміну від… 2. Спектральні складові можуть бути як тонами чи обертонами. Так і… 3. Ноти об’єднуються в послідовні інтервали (створюють мелодію голосів) і співзвуччя (гармонійні інтервали), що…
WAVE-форма використовується для цифрових аудіодисків, а MIDI - в електронних музичних інструментах.
Фізичні характеристики MIDI:
- спосіб передачі - струмова петля (5 мА);
Для сучасних систем характерно, що фільтрація проводиться з використання відомостей про шум, а не відомостей про сигнал. Даний підхід можна назвати… На рис.4. також можна виділити гілку керування і гілку опрацювання сигналу.… На синтезатор гармонік поступає сигнал, який крім корисних спектральних складових містить і не подавлені на стадії…
Вибір підходу до сегментації визначається, насамперед, вибором елемента розпізнавання (при розпізнаванні злитої мови елементом розпізнавання може… Основна складність сегментації багатоголосних музичних сигналів визначається… Після виконання задачі сегментації утворюється ритмічна структура мелодії, яка розпізнається. Ритмічна структура…
В блоці “Визначення загальної кількості гіпотез” визначається набір гіпотез, тобто значень основних тонів, які є найбільш ймовірними кандидатами.
… При перевірці гіпотези основного тону з набору гіпотез необхідно в спектрі…
Відомі приблизні значення частот обертонів звукових об’єктів, амплітуди яких залишаються без змін, тобто коефіцієнт передачі фільтра на кожній з цих… В решту області частот коефіцієнт передачі повинен бути меншим від одиниці:… Недолік підходу: музична фонограма має крім шумів носія запису і шумів тракту формування-запис-відтворення і „корисні”…
1. Розроблені алгоритми сегментації і розпізнавання музичного сигналу формують повний набір даних, необхідний для опрацювання сигналу на рівні… 2. Процес опрацювання сигналу з використанням розпізнавання образів стає… На основі розроблених алгоритмів розроблена система опрацювання музичного сигналу, яка керується системою…
Дослідження необхідне для розробки алгоритму розпізнавання музичних сигналів і для формування вимог до розроблюваної системи опрацювання сигналів.… Тому необхідно побудувати адекватну модель звукових об’єктів, придатних для… Для цього необхідно: