Цифровая фотография #2 Матрицы и Tone Blending

В большинстве случаев когда мы работаем со снимками одного и того же объекта снятыми с очень маленькими промежутками между ними, но разными настройками - то изображение всегда трактуется как набор числовых матриц и они комбинируются.

С точки зрения математики преобразования могут быть как линейными, так и нелинейными. Но даже если речь идёт действительно о линейной комбинации, сами значения коэффициентов могут вычисляться по очень хитрым формулам, даруя возможности всяким "гуру" от маркетинга лазить в карман покупателя с терминами типа псевдолинейный, квазилинейный и ещё как-нибудь...

Использование GSVD [E. Dulov and N. Andrianova, On differentiability of the matrix trace operator and its applications, Korean J. of Comp. & App. Math. 8(1) (2001) 97-109] тоже обычно ограничивается арифметическими операциями +, - и умножить, только естественно над матрицами. При этом не все интересовались, что формально его можно трактовать как основу для алгоритма по сжатию информации. Причём если допустить существование точной машинной арифметики и не отбрасывать строки и столбцы соответствующие меньшим собственным числам, то преобразование туда-и-обратно будет один-в-один.

Для прослушавших курс численных методов также не станет откровением что если исходные данные это целые числа + вычисления проводятся с высокой точностью, то тогда, даже отбросив информацию соответствующую наименьшим собственным значениям матриц, при обратном преобразовании (восстановлении) с округлением получившихся действительных чисел назад до целых можно получить исходное значение! А в тех приложениях, где диапазон целых чисел составляет хотя бы 8 бит, то есть 256 значений формальную ошибку в ±1 можно проигнорировать, так как глазом, да ещё и на недорогом мониторе/экране эту разницу НЕ ВИДНО!!!

Ну а теперь вернусь к теме поста. Tone Blending или Смешивание тонов это "хитрая" комбинация когда истинное изображение вычисляется по другим, со сдвигами в ту или иную сторону видимого спектра. Смотрите сами:

Сдвиг в красное

Сдвиг в зелёное

Сдвиг в синее

Для удобства и простоты обсчёта "интенсивность" сдвига делается одинаковой, хотя для математики разницы никакой нет. Главное - это не прикол физиков. Всему есть реальное технологическое обоснование, уже знакомое всем кто хоть раз задумался о качестве получающихся цифровых фото - шумы оптической матрицы. Дело в том, что по целой куче причин оцифровывается освещённость (интенсивность облучения) элементарной цифровой точки (пикселя). А чтобы отличать цвета, то свет перед этим проходит через цветной фильтр.

Технология CCD

Технология органического CMOS

Так как линейные размеры сенсора малы, а микропикселя - совсем крошечные, то теоретически имеющиеся геометрические смещения ничтожно малы и не стоит извращаться. Но вот точность измерения (оцифровки) неидеальна. Называй её ошибками измерения как в математике или шумами как в технике/физике - ОНО ЕСТЬ!

Поэтому от профессиональных пользователей не скрывают, а обычным - обтекаемо говорят о том, что по супер-пупер-комерческий-секрет (это правда!) формуле от таких "огрехов" избавляются, получая картинку, "приятную вашему глазу".

Что-то типа такого

А GSVD, несмотря на высокие численные затраты от подобных проблем избавляется совершенно естественно.
Это ещё одна из причин, почему я брал его для HDR обработки. Два крайних случая

• JPEG это алгоритм сжатия с потерями, особенно если с высокой степенью сжатия. Повсеместно используется, даже в недешёвых аппаратах. Так что "смешивать ошибки", это даже не глупость.
• RAW изображения про- и полупро- камер обычно подаются КАК ЕСТЬ, то есть с шумами. И ВСЯ ОБРАБОТКА делается потом, программно (наборами математических формул).

В профессиональном Tone Blending всё ещё прозаичней - съёмка делается не ОДНИМ сенсором с набором цветовых фильтров на каждый пиксель, а на ТРИ ОТДЕЛЬНЫЕ матрицы со специализированными и высококачественными цветными фильтрами. Так что у таких аппаратов получается три отдельных набора матриц и "усреднённое сведение" может делать как аппарат на лету (для видеокамер) и предпросмотра на фотокамерах, так и откладывается на потом, посредством программ на компьютере. А сам аппарат сохраняет три синхронизированных потока данных вместо одного для каждого кадра.
Ну а я тоже прикинул, какие параметры взять для GSVD алгоритма для комбинирования тонов и уменьшения шумов. Получилось так:

То, как мы должны были увидеть эту сцену своими глазами

 Если любите повыразительней, поярче и т.п., базовые фильтры вам в руки:

Такая вот дверная ручка