Основы трекинга в Mocha

Реализованная в Mocha технология планарного трекинга позволяет получить те же данные, что и при обычном 1-, 2-, 3- или 4-точечном трекинге, но отличие в том, что осуществляется трекинг поверхностей, а не отдельных точек.

Одной из основных задач является определение и задание поверхностей, которые будут использованы при трекинге. Иногда выбор такой поверхности очевиден, иногда приходится разбивать объект на несколько отдельных поверхностей и выполнять трекинг/ротоскопирование группы поверхностей.

При задании поверхности вокруг нее рисуется сплайн. При этом сплайн не обязательно должен быть точным – алгоритм планарного трекинга способен распознать и отделить пикселы, которые двигаются вместе с основной группой пикселов заданной поверхности и остальными пикселами.

Mocha позволяет работать с двумя видами сплайнов: X-сплайны и сплайны Безье.

Рисунок 1.11 – Пример X-сплайна (слева) и сплайна Безье

В общем случае, X-сплайны лучше приспособлены для трекинга, особенно при наличии изменения перспективы. Сплайны Безье – более привычны, так как применяются в большинстве программного обеспечения.

Рисунок 1.12 – Пример использования X-сплайна
для задания области трекинга

Рассмотрим пример.

Для создания сплайнов воспользуемся инструментом , создадим фигуру вокруг границы экрана iPAQ. Обратите внимание, что фигура не будет прилегать к границам телефона. Небольшой зазор необходим для того, чтобы обеспечить точный трекинг.

Начните создавать фигуру, щелкая левой кнопкой мыши в нужных точках. После указания третей точки фигура автоматически станет замкнутой, но можно и дальше продолжать добавлять точки. После того, как все точки будут указаны, щелкните левой кнопкой мыши для завершения фигуры.

Иногда требуется исключить из фигуры отдельные области, которые сильно снижают эффективность трекинга.

Для рассматриваемого примера с iPAQ, экран устройства отражает свет и имеет сильные блики, из-за чего траектория может получиться нестабильной. Исключим область экрана из области трекинга.

 

1. Выделите первый созданный слой.

Рисунок 1.13 – Выделение слоя на панели Layer Controls

2. При помощи инструмента добавьте еще одну фигуру к текущему слою, которая будет включать области, которые будут игнорироваться при трекинге. – экран устройства.

Рисунок 1.14 – Создание второго сплайна
для исключения проблемной области

Обратите внимание, что оба сплайна имеют одинаковый цвет, это признак того, что они относятся к одному слою. На панели Layer Controls также отображается единственный слой.

Для каждой из четырех точек «вытащите» маркеры, чтобы углы фигуры стали не сглаженными.

Рисунок 1.15 – Модификация типа угловых точек

Нажав на кнопку Mattes под View Controls можно увидеть, какая именно область будет использоваться для трекинга.

Рисунок 1.16 –

Различные параметры трекинга доступны на закладке Track. В левой части закладки расположены две секции: Motion и Search Area.

В секции Motion задается параметры трекинга (положение, вращение и масштабирование, сдвиг, перспектива) и тип отслеживаемого движения:

– большое движение; его параметры задаются в секции Search Area. Если объект движется очень быстро или кадр имеет большое разрешение (2k-4k), то в поля Horizontal и Vertical следует вручную ввести примерное значение скорости перемещения объекта (пикселов за кадр).

– малое движение (не более трех пикселов на кадр); трекинг будет происходить точнее и быстрее, если у камеры было небольшое дрожание и требуется выполнить стабилизацию.

Рисунок 1.17 – Закладка Track

Если необходим трекинг только по координатам x,y (как при традиционном точечном трекинге), необходимо установить только флажок Translation в секции Motion. Для трекинга параметров Scale и Rotation, необходимо дополнительно включить флажок Rotation + Scale.

Так как в Mocha используется планарный трекинг, то для трекинга параметров Scale и Rotation не нужно задавать еще один сплайн (в отличие от точечного трекинга).

Основное различие между режимами Shear и Perspective в виде движения:

– Shear – это движение, при котором у прямоугольного объекта перспективным искажениям подвергаются только два из четырех углов.

– Если у объекта изменяется перспектива (достаточно протяженный объект перемещается и вращается в трехмерном пространстве), то следует включить флажок Perspective.

В рассматриваемом примере в секции Motion необходимо установить флажки: Translation, Rotation + Scale и Shear, что эквивалентно 3-х точечному трекингу.

Рисунок 1.18 – Секция Motion

Выполните трекинг, нажав на кнопку Track Forwards в правой части секции Transport Controls.

Рисунок 1.19 – Секция Transport Controls

Остановите трекинг и подкорректируйте фигуру, если будет казаться, что трекинг выполняется некорректно. Можно создать ключевые кадры для сплайна, и выполнить трекинг отдельной области с корректировкой в процессе трекинга, нажав кнопку Add Key на панели инструментов. Начальный ключевой кадр не будет создан, пока не будет в первый раз нажата кнопка Add Key или точка не будет перемещена при включенной опции Auto Key.

Для проверки трекинга можно выполнить воспроизведение клипа и проанализировать результаты. Режим воспроизведения можно изменять на панели Transport Controls (прямой и обратный порядок, режим пинг-понга).

Еще один способ проверки – нажать на кнопку Stabilize на панели View Controls.

Рисунок 1.20 – Выбор типа режима проверки трекинга

При включении режима Stabilize объект трекинга будет неподвижным, а сдвигаться будет все изображение для компенсации движения.

В модуле трекинга стабилизация осуществляется только в виде предварительного просмотра для проверки трекинга. Расчет реальных данных стабилизации осуществляется в модуле Stabilize, который будет рассмотрен далее.

Точность выполнения планарного трекинга можно проверить, включая вывод отображение Surface и Grid на панели View Control. Перетащите угловые маркеры Surface (темно-голубые прямоугольники) так, чтобы установить соответствие с перспективой объекта трекинга. В процессе воспроизведения можно будет увидеть, насколько точно поверхность или линии сетки будут соответствовать объекту трекинга.

Поверхность и сетка не имеют ключевых кадров; они просто являются направляющими, которые позволяют проверить точность трекинга. Однако, положение поверхности (Surface) влияет на экспорт данных трекинга, таким образом, задать положение угловых точек поверхности необходимо выполнить до экспорта данных.

Затем следует нажать на кнопку Surface на панели View Controls.

При включении отображения поверхности на экране отобразиться синий прямоугольник с четырьмя угловыми точками. На следующем рисунке отображается поверхность, пока еще не привязанная к объекту трекинга – экрану.

Рисунок 1.21 – Включение отображения поверхности

Выделяя угловые точки по очереди, разместите их в углах экрана.

Рисунок 1.22 – Настройка положения поверхности

Наложение линий сетки вдоль трековой поверхности позволяет контролировать точность трекинга. Сетка будет перемещаться в соответствии с перемещением объекта трекинга. Плотность сетки по координатам X и Y настраивается на панели View > Viewer Preferences:

Рисунок 1.23 – Настройка сетки

Рисунок 1.24 – Пример отображения сетки

Опция Trace позволяет отобразить изменение положения угловых точек поверхности с течением времени. Параметр Skip позволяет отображать каждый n-ый кадр, что полезно при ротоскопировании, когда движение достаточно предсказуемое.

Рисунок 1.25 – Пример трекинга

При трекинге слоя, любая маска любого активного слоя, расположенного выше слоя трекинга, накладываются в режиме вычитания (Subtract) из маски трекового слоя и уменьшают область трекинга.

Для того чтобы трекинг был предсказуемым, рекомендуется располагать трековый слой самым верхним в списке (за исключением тех случаев, когда специально необходимо, чтобы области этих слоев вычитались из области трекинга текущего слоя).

Для отображения того, какую область трекинг будет использовать для трекинга, выберите из списка Mattes значение Selected track mattes.

Рисунок 1.26 – Вывор параметров отображения масок

В некоторых случаях маски уже могли быть созданы до процесса трекинга в Mocha, например, при помощи программы кеинга или другой программы ротоскопирования (например, для изолирования отдельных областей для трекинга). Такие маски могут быть импортированы путем создания нового слоя и заданием настроек в секции Matte Clip под панелью Layer Properties.