Доклады Российской академии наук. Математика, информатика, процессы управления, 2020, T. 494, № 1, стр. 71-75

ВВЕДЕНИЕ

Восстановление и улучшение качества изображений и видеопоследовательностей (ВП) усложнено из-за их искажений в канале передачи информации, а также при их приеме и регистрации вследствие шумов различной природы, смазывании деталей и контуров. Сложная и меняющаяся структура реальных изображений и ВП не позволяет эффективно отфильтровывать и выделять искаженные детали изображений. Это часто приводит к неправильным решениям в приложениях: дистанционное зондирование, распознавание образов, медицина, ультразвуковая диагностика, управление объектами и т.д. Различные шумы, как аддитивные, так и мультипликативные (спекл-шумы), присутствующие в конкретных физических моделях, могут в дальнейшем быть дополнены импульсным шумом. Используемые процедуры подавления шумов часто зависят от приложений, где они применяются, что не позволяет их применение в других условиях. Подавление шумов в изображениях и ВП является обязательным элементом, позволяющим восстановить контуры и детали, а также улучшить структуру и качество изображений [1–12]. Ряд эффективных подходов, применяемых в фильтрации, включает применение стохастических методов [1–8] в сочетании c дисперным представлением изображений или ВП в базисах различных преобразований (вейвлет, контурлет, DCT, др.), позволяющих отличать мелкие детали, контуры, хроматические и структурные характеристики в изображении от зашумленных пикселей [5–12].

В литературе приводится ряд алгоритмов обработки изображений в присутствии шумов различной физической природы, где, как правило, для различных типов шума (мультипликативного, импульсного или аддитивного) используются разные математические методы и подходы, которые не позволяют реализовать эффективную фильтрацию изображений или ВП, искаженных шумом сложной структуры [5–13]. Большинство известных алгоритмов требует априорных статистических данных о шумах, изображениях или ВП.

На основе идей, изложенных в работах [1–9, 15], в настоящей работе предложен и обоснован оригинальный подход к фильтрации изображений, искаженных смешанным шумом (смесь мультипликативного и аддитивного). Новый метод сочетает процедуры теории гомоморфной фильтрации и стохастический подход к фильтрации изображения в дисперсном его представлении. Метод содержит два этапа: на первом этапе реализуется поиск объектов со схожими структурными свойствами, которые выделяются на основе выбранного критерия подобия. Каждый выделенный объект подвергается гомоморфному преобразованию (ln), которое формирует новые структуры в 3D. В дальнейшем изображение фильтруется в трехмерном пространстве дискретного косинусного преобразования (DCT), где схожие объекты образуют третью координату в DCT, существенно увеличивая объем выборки и улучшая качество фильтрации. Первый этап обработки завершается линейным сглаживанием и обратным гомоморфным преобразованием (exp). На втором, заключительном этапе обработки изображений проводится фильтрация с целью коррекции погрешностей предыдущих этапов, восстановления контуров и деталей изображений. Критериями, используемыми при сравнении предложенных алгоритмов с известными в литературе, являются пиковое отношение сигнал–шум в децибеллах (PSNR) и оценка структурного индекса схожести (SSIM) [1–5, 8, 14].

Результаты многочисленных численных экспериментов в условиях различных интенсивностей шумов на тестовых изображениях подтверждают эффективность нового метода, позволяющего очистить изображение от cпекл-шума, характеристики которого могут быть неизвестными, восстанавливая мелкомасштабные детали изображений и улучшая их качество.

ПОСТАНОВКА ЗАДАЧИ И МЕТОД РЕШЕНИЯ

Предложенная процедура фильтрации включает в себя два этапа обработки (см. рис. 1).

Регистрируемое искаженное изображение $E(i,j)$ в случае мультипликативного $\varepsilon (i,j)$ и аддитивного ${{n}_{{ad}}}(i,j)$ шумов имеет вид

Оно анализируется с целью обнаружения и формирования групп подобных объектов, используя процесс детектирования схожих блоков (block-matching: BM). Процесс BM позволяет найти похожие структуры путем минимизации критерия подобия SAD

где M₁ и N₁ – размеры блоков изображения, выбранные в процессе поиска схожих объектов, а A(i, j) – выделенный опорный блок схожести. Для каждого такого блока A(i, j) все найденные схожие блоки ${{A}_{L}}(i,j)$, $L = 1, \ldots ,K$, образуют массив 3D- данных, которые определяют трехмерную структуру, упорядоченную с учетом степени схожести согласно критерию SAD. В дальнейшем каждый выделенный объект подвергается гомоморфному преобразованию (ln), которое формирует новые структуры в 3D. Данное преобразование обосновывается тем, что в областях, где интенсивности объектов в изображении $\varepsilon (i,j) \circ e(i,j)$ значительно превосходят интенсивность аддитивных шумов ${{n}_{{ad}}}(i,j)$, может быть показано, что гомоморфное преобразование (1) позволяет вычислить

Таким образом, удается мультипликативную шумовую модель свести к ее аддитивному варианту. В дальнейшем изображение (3) фильтруется в трехмерном пространстве DCT, где схожие объекты формируют третью координату, существенно увеличивая объем выборки и улучшая качество фильтрации (рис. 1).

Преобразование, примененное к 3D-структурам, формирует в пространстве DCT массив данных $S(i,j,L)$, который подвергается пороговой фильтрации. Здесь на основе процедуры сегментации по алгоритму K-средних (K-means) выделяются области с плавным изменением интенсивности (α = 1) и области с границами или мелкими деталями (α = 2). Для каждой структуры 3D производится ограничение коэффициентов (пороговая фильтрация) в пространстве DCT:

Затем к массиву данных $\hat {S}(i,j,l)$ применяется обратное 3D-преобразование (IDCT), формируя первую аппроксимацию блоков ${{\hat {A}}_{L}}(i,j)$, $L = 1, \ldots ,K$. Процесс 3D-обработки завершается линейной фильтрацией, которая реализует финальную оценку блоков схожести, используя линейный фильтр с весами, зависящими от дистанции SAD:

Первый этап обработки завершается обратным гомоморфным преобразованием (exp), целью которого является возвратить профильтрованные данные в исходную реальную плоскость изображений.

На следующем этапе фильтрации шумов производится коррекция эффектов, которые внесены на предыдущих этапах. В частности, восстанавливаются сглаженные контуры и мелкие детали изображений с использованием билатеральной фильтрации [11] и восстановления контуров (рис. 1).

Билатеральный фильтр определяется двумя весовыми функциями гауссовского типа, где первая $d(i,j;k,l) = \exp \left[ { - \frac{{{{{(i - k)}}^{2}} + {{{(j - l)}}^{2}})}}{{2\sigma _{D}^{2}}}} \right]$ зависит от геометрического расстояния между пикселями, центральным (i, j), подлежащим фильтрации, и соседним (k, l) в окне обработки, а вторая весовая функция вводит нелинейную обработку с весами, которые зависят от разности радиометрических значений (интенсивностей) пикселей

R[A(i, j); A(k, l)] = $\exp \left[ { - \frac{{{{{[A(i,j) - A(k,l)]}}^{2}}}}{{2\sigma _{g}^{2}}}} \right]$.

РЕЗУЛЬТАТЫ ЧИСЛЕННОГО МОДЕЛИРОВАНИЯ

Свойства нового метода фильтрации смешанных шумов, названного F-MNSR-DCT, а также известных наилучших по качеству алгоритмов Lee, Frost, Kuan, Anisotropic Diffusion [5–7, 9] были исследованы на основе стандартных численных критериев PSNR и SSIM, а также используя визуальный субъективный анализ профильтрованных изображений. Значения критерия PSNR вычисляются по следующей формуле:

величины SSIM-критерия определяются так:

В формуле (7) μ_E и ${{\mu }_{{\hat {E}}}}$ определяют локальные средние для E и $\hat {E}$ соответственно; $\sigma _{E}^{2}$ и $\sigma _{{\hat {E}}}^{2}$ являются локальными значениями дисперсий для E и $\hat {E}$ и ${{\sigma }_{{E,\hat {E}}}}$ это локальная функция ковариации для E и $\hat {E}$. Константы ${{C}_{n}} \ll 1$ выбираются такими, чтобы избежать нестабильности [14].

Тестовые изображения из базы данных [13] были искажены мультипликативным шумом разной интенсивности (СКО шума $\sigma $: 10–50) и в дальнейшем обработаны фильтрами. Представленные в табл. 1 усредненные по 100 изображениям из базы данных значения PSNR и SSIM в случае применения алгоритмов фильтрации Lee, Frost, Kuan, Anisotropic Diffusion и предложенного алгоритма F-MNSR-DCT, а также визуальный анализ рис. 2 подтверждают, что новый алгоритм превосходит лучшие из известных согласно полученным результатам в широком диапазоне интенсивностей шумов. Эффективная фильтрация изображений pic 015 и pic 091 (Boat), в которых наблюдается много мелких деталей и контуров, и вариации интенсивности, подтверждает робастность предложенного метода для шумов различной интенсивности (рис. 2).

ВЫВОДЫ

Теоретическое обоснование и анализ физических результатов численного моделирования нового метода фильтрации изображений в условиях их искажений мультипликативным шумом позволяют сделать ряд важных выводов:

1. Предложенный метод, который основан на дисперсном представлении данных с использованием 3D-дискретного косинусного преобразования, эффективно восстанавливает сложные структуры в изображениях.

2. Гомоморфное преобразование сформированной последовательности схожих объектов позволяет реализовать фильтрацию спекл шумов с использованием дисперных методов фильтрации.

3. 3D-фильтрация с весами, зависящими от степени схожести объектов, улучшает качество обработанных изображений.

4. Билатеральная фильтрация совместно с восстановленными контурами изображений, примененная на этапе апостериорной обработки, приводит к улучшению качества восстановления мелких деталей и контуров.

5. Новый метод подтвердил наилучшее качество как в значениях критериeв (PSNR и SSIM), так и при визуальном анализе профильтрованных изображений.