ШумоподавлениеШумоподавлениедля изображенийдля изображений

Лектор:Лектор: Лукин Алексей СергеевичЛукин Алексей Сергеевич

Виды и примеры Виды и примеры шумовшумов

Шумы

СтационарныеИмпульсные Смешанные

Salt and pepperПомехи в видео

Аддитивный белый Зерно пленки

Белый шум – пиксели случайны, не коррелированны друг с другом.Гауссов/равномерный/треугольный шум – закон распределения амплитуд пикселей.Аддитивный шум – прибавляется к «чистому» изображению и не зависит от него.

Шум + помехи в видео

Salt

an

d p

ep

per

AW

GN

Методы Методы шумоподавленияшумоподавления

Шумы

СтационарныеИмпульсные Смешанные

Медианный фильтрВзвешенная медианаРанговые фильтры

Bilateral filterNon-Local MeansWavelet thresholdingDCT, PCA, ICAАнизотропная диффузияАлгоритм BM3D

Ранговые фильтрыКомбинированные методы

Salt

an

d p

ep

per

AW

GN

Простейшие методыПростейшие методы

Простейшие методыПростейшие методы► Размытие изображения – вместе с шумом Размытие изображения – вместе с шумом

размывает деталиразмывает детали

► Размытие в гладких областях – остается шум Размытие в гладких областях – остается шум вблизи границвблизи границ

► Медианная фильтрация – хорошо подавляет Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие деталиимпульсный шум, но удаляет мелкие детали

Bilateral filterBilateral filter

Адаптивные алгоритмыАдаптивные алгоритмы► Bilateral filterBilateral filter

усреднение окружающихусреднение окружающих

пикселейпикселей

с весамис весами

Qmk

mjkiji mkjiWxy,

,, ),,,(

2

22

2

2,, exp

)(exp),,,(

mk

h

xxmkjiW mjkiji

фотометрическая близость пространственная близость

Bilateral filterBilateral filter

Bilateral filter: Bilateral filter: художественное применениехудожественное применение

(при слишком сильном действии)

Non-Local MeansNon-Local Means

Адаптивные алгоритмыАдаптивные алгоритмы► Non-local means (NL-means)Non-local means (NL-means) – веса зависят от – веса зависят от

близости целых блоков, а не отдельных пикселейблизости целых блоков, а не отдельных пикселей

2

2

,, )()(exp),,,(

h

xxmkjiW

mjkiji ν(xi,j) – блок вокруг пикселя xi,j

Non-Local MeansNon-Local Means

Вычисление весовВычисление весов

► Способен сохранять текстуру изображения Способен сохранять текстуру изображения лучше,лучше, чем чем bilateral filterbilateral filter

Иллюстрация изBuades et al 2005

Веса высоки для q1 и q2,но не для q3

+

Non-Local MeansNon-Local Means

Достоинства и недостатки:Достоинства и недостатки:► Высокое качество результирующего изображенияВысокое качество результирующего изображения

► В исходном варианте – очень высокая В исходном варианте – очень высокая вычислительная сложностьвычислительная сложность

Ускоряющие расчет оптимизации:Ускоряющие расчет оптимизации:► Использование команд Использование команд MMX/SSE MMX/SSE для сравнения для сравнения

блоковблоков► Разбиение изображения на блоки и усреднение Разбиение изображения на блоки и усреднение

целых блоков, а не отдельных пикселейцелых блоков, а не отдельных пикселей► Промежуточный вариант между усреднением Промежуточный вариант между усреднением

блоков и усреднением пикселей: усреднение блоков и усреднением пикселей: усреднение маленьких блоковмаленьких блоков

+

–

Non-Local MeansNon-Local Means

Применение к видеоПрименение к видео

► Область поиска блоков можно расширить на Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-соседние кадры (сделать ее пространственно-временной)временной)

► Для ускорения просчета можно применять Для ускорения просчета можно применять сравнение блоков только по сравнение блоков только по Y-Y-каналу в каналу в цветовой модели цветовой модели YCrCb (YUV)YCrCb (YUV)

Дискретное вейвлет-Дискретное вейвлет-преобразование преобразование

Схема одномерного ДВПСхема одномерного ДВП

Свойство точного восстановления (Свойство точного восстановления (PR):PR):

Количество информации не изменяется.Количество информации не изменяется.

Существуют фильтрыСуществуют фильтры H H ии G G, обеспечивающие , обеспечивающие точное восстановление.точное восстановление.

H2

H1

↓2

↓2Коэффициенты

↑2

↑2

G2

G1

+x[n] x’[n]

Декомпозиция Реконструкция

][][ nxnx

ДВП можно применять несколько раз ДВП можно применять несколько раз («несколько уровней разложения»)(«несколько уровней разложения»)

Двумерное ДВП – композиция одномерных Двумерное ДВП – композиция одномерных ДВПДВП

H2

H1

↓2

↓2 Коэффициенты

x[n]

H2

H1

↓2

↓2

Дискретное вейвлет-Дискретное вейвлет-преобразование преобразование

Вейвлетный методВейвлетный метод

Вейвлетное шумоподавление для изображенийВейвлетное шумоподавление для изображений1.1. DWTDWT

2.2. Оценка уровня и спектра шумаОценка уровня и спектра шума

3.3. Подавление вейвлет-коэффициентов Подавление вейвлет-коэффициентов (thresholding, (thresholding, shrinkage)shrinkage)

4.4. Обратное Обратное DWTDWT

+Подавление шума различного масштаба

–Отсутствие инвариантности к сдвигуОтсутствие инвариантности к сдвигуПлохая локализация энергии для наклонных границПлохая локализация энергии для наклонных границ

Метод главных Метод главных компоненткомпонент

Идея: так выбрать базисные вектора, чтобы Идея: так выбрать базисные вектора, чтобы минимальным числом базисных векторов можно было минимальным числом базисных векторов можно было наилучшим образом приблизить данные из наилучшим образом приблизить данные из некоторого набора.некоторого набора.

Решение: базисные вектора – собственные вектора Решение: базисные вектора – собственные вектора eeii матрицы ковариации матрицы ковариации CCxx исходных данныхисходных данных xx::

}))({( Txxx xxEC

Tnxxx ),...,( 1

}{xEx

Principal Component Analysis (PCA, KLT)Principal Component Analysis (PCA, KLT)

ШумоподавлениеШумоподавление

Применение к блокам изображения 8Применение к блокам изображения 8x8: x8:

Метод главных компонентМетод главных компонент

Txxx ),...,( 641

…

…

64 базисных вектора

ШумоподавлениеШумоподавление

PCA-PCA-денойзинг изображенийденойзинг изображений1.1. Блочное преобразование Блочное преобразование PCAPCA

2.2. Подавление коэффициентов в новом базисеПодавление коэффициентов в новом базисе

3.3. Обратное преобразование и наложение блоков с Обратное преобразование и наложение блоков с перекрытиемперекрытием

Существующие подходы Существующие подходы ((Muresan/Parks, 2003)Muresan/Parks, 2003)

+Адаптация к деталям изображения (в т.ч. – к линиям любого наклона)

–При больших блоках – эффект Гиббса,При больших блоках – эффект Гиббса,при маленьких – не подавляется крупный шумпри маленьких – не подавляется крупный шум

ШумоподавлениеШумоподавлениеРезультатыРезультаты

Зашумленное изображение Вейвлетное шумоподавление

ШумоподавлениеШумоподавлениеРезультатыРезультаты

Шумоподавление с помощью PCA Разработанный нами метод

Свет и цветСвет и цвет

Восприятие цветаВосприятие цвета

λ, нм(длина волны)

P

440 540 580

B

GR

(чувствительность колбочек глаза)

dPIR R )()(

dPIG G )()(

dPIB B )()(

λ

I (интенсивность)

I (λ)

Какой это цвет?

Метрики близостиМетрики близости

PSNR PSNR не всегда отражает реальный не всегда отражает реальный видимый уровень искаженийвидимый уровень искажений

Как улучшить?Как улучшить?► Использовать функцию Использовать функцию

чувствительности глаза к различным чувствительности глаза к различным частотамчастотам (CSF) (CSF)

► Использовать свойство маскировкиИспользовать свойство маскировки► Использовать равномерные к Использовать равномерные к

восприятию цветовые пространства (восприятию цветовые пространства (CIE CIE Lab, CIEDE2000)Lab, CIEDE2000)

HVS models(human visual system)

Метрики качестваМетрики качества

Contrast sensitivity function (CSF)Contrast sensitivity function (CSF)► Показывает чувствительность глаза к различным Показывает чувствительность глаза к различным

частотамчастотам

Абсцисса – пространственная частота(колебаний / градус угла обзора)

Алгоритм Алгоритм RetinexRetinex

Задача: уменьшить вариации Задача: уменьшить вариации освещенности объектом на фотографиях, освещенности объектом на фотографиях, повысить контрастповысить контраст

),(),(),( yxRyxIyxS

Предполагаем, что Предполагаем, что изображение изображение представимо в виде представимо в виде произведения компонентпроизведения компонент освещенности освещенности ((illumination) illumination) и собственно и собственно цветов предметов цветов предметов ((reflectance)reflectance)

Алгоритм Алгоритм RetinexRetinex

Предположение: освещенность меняется Предположение: освещенность меняется медленно, это низкие частотымедленно, это низкие частоты

Как разделить Как разделить S(x,y) S(x,y) на компоненты?на компоненты?

Идея гомоморфной обработки: применяем Идея гомоморфной обработки: применяем к исходным данным преобразование, к исходным данным преобразование, чтобы свести задачу к линейнойчтобы свести задачу к линейной

Теперь компоненты разделимы с помощью Теперь компоненты разделимы с помощью фильтрации (свертки)фильтрации (свертки)

),(),(),( yxRyxIyxS

),(log),(log),(log yxRyxIyxS

Алгоритм Алгоритм RetinexRetinex

Схема алгоритмаСхема алгоритма

Альтернативный вариантАльтернативный вариант

Тонкие моментыТонкие моменты► log(0)log(0)► Диапазон результирующих значенийДиапазон результирующих значений► Как быть с цветами?Как быть с цветами?

),(log),(log),(log yxSHyxSyxR H – оператор НЧ-фильтрации,

напр. – гауссова размытия

),(log),(logexp),( yxSHyxSyxR возвращаем R(x,y) в исходный масштаб значений

Преобразование Преобразование цветацвета

Система Система YUVYUV: разделение яркости и : разделение яркости и хроматических компонентхроматических компонент

После обработки компоненты После обработки компоненты Y, Y, можно можно скорректировать значения скорректировать значения U U и и V, V, чтобы чтобы поддержать насыщенность цветовподдержать насыщенность цветов

BGRY 114.0587.0299.0 BGRU 0.4360.289 --0.147 BGRV 0.100 -0.515 -0.615

Алгоритм Алгоритм RetinexRetinex

РезультатыРезультаты