Всім привіт. Зараз ми з науковим керівникомготуємо до видання монографію, де намагаємось простими словамирозповісти про основи цифрової обробки зображень. У цій статті розкривається дуже проста, але в той же час дуже ефективна методикапідвищення якості зображень – еквалізація гістограм.

Для простоти почнемо розгляд з монохромних зображень (тобто зображень, що містять інформацію тільки про яскравість, але не про колір пікселів). Гістограмою зображення називатимемо дискретну функцію H, визначену на безлічі значень , де bpp – кількість біт, що відводиться для кодування яскравості одного пікселя. Хоча це не є обов'язковим, але гістограми часто нормують в діапазон , виконуючи розподіл кожного значення функції H[i] на загальна кількістьпікселів зображення. У Табл. 1 представлені приклади тестових зображень та гістограм, побудованих на їх основі:
Табл. 1. Зображення та їх гістограми

Уважно вивчивши відповідну гістограму можна зробити деякі висновки і про вихідне зображення. Наприклад, гістограми дуже темних зображень характеризуються тим, що ненульові значення гістограми сконцентровані біля нульових рівнів яскравості, а для дуже світлих зображень навпаки – усі ненульові значення сконцентровані у правій частині гістограми.
Інтуїтивно можна зробити висновок, що найбільш зручним для сприйняття людиною буде зображення, яке має гістограму близьку до рівномірного розподілу. Тобто. для покращення візуальної якості до зображення треба застосувати таке перетворення, щоб гістограма результату містила всі можливі значення яскравості і при цьому приблизно однаковій кількості. Таке перетворення називається еквалізацією гістограми і може бути виконано за допомогою коду, наведеного в Лістинг 1.
Лістинг 1. Реалізація процедури еквалізації гістограми

1. Процес TCGrayscaleImage. HistogramEqualization;
2. const
3. k = 255;
4. h: array [0..k] of double;
5. i, j: word;
6. begin
7. for i : = 0 to k do
8. h[i]: = 0;
9. h [ round ( k * self . Pixels [ i, j ] ) ] : = h [ round ( k * self . Pixels [ i, j ] ) ] + 1 ;
10. for i : = 0 to k do
11. h[i]: = h[i]/(self. Height * self. Width);
12. for i : = 1 to k do
13. h[i]: = h[i - 1] + h[i];
14. for i: = 0 to self. Height - 1 do
15. for j: = 0 to self. Width - 1 do
16. self. Pixels [i, j]: = h [round (k * self. Pixels [i, j]))];
17. end;

В результаті еквалізації гістограми в більшості випадків істотно розширюється динамічний діапазон зображення, що дозволяє відобразити деталі, що раніше не помічені. Особливо сильно цей ефект проявляється на темних зображеннях, що показано в Табл. 2. Крім того, варто відзначити ще одну важливу особливістьпроцедури еквалізації: на відміну від більшості фільтрів та градаційних перетворень, що потребують налаштування параметрів (апертури та констант градаційних перетворень), еквалізація гістограми може виконуватися в повністю автоматичному режимі без участі оператора.
Табл. 2. Зображення та їх гістограми після еквалізації


Легко можна помітити, що гістограми після еквалізації мають своєрідні помітні розриви. Це з тим, що динамічний діапазон вихідного зображення ширше діапазону вихідного. Очевидно, що у цьому випадку розглянуте у Лістинг 1 відображення не може забезпечити ненульові значення у всіх кишенях гістограми. Якщо все-таки необхідно досягти більш природного виду вихідної гістограми, можна використовувати випадковий розподіл значень i-ої кишені гістограми в деякій його околиці.
Очевидно, що еквалізація гістограм дозволяє легко підвищувати якість монохромних зображень. Звичайно хочеться застосувати подібний механізм і до кольорових зображень.
Більшість не дуже досвідчених розробників представляють зображення у вигляді трьох колірних каналів RGB і намагаються застосувати процедуру еквалізації гістограми до кожного кольору окремо. У деяких рідкісних випадках це дозволяє досягти успіху, але в більшості випадків результат так собі (кольори виходять неприродними та холодними). Це пов'язано з тим, що модель RGB неточно відображає сприйняття людини.
Згадаймо про інший колірний простір – HSI. Ця колірна модель (та інші споріднені з нею) дуже широко використовуються ілюстраторами та дизайнерами так як дозволяють оперувати більш звичними для людини поняттями колірного тону, насиченості та інтенсивності.
Якщо розглянути проекцію RGB-куба у напрямку діагоналі білий-чорний, то вийде шестикутник, кути якого відповідають первинним та вторинним кольорам, а всі сірі відтінки (що лежать на діагоналі куба) при цьому проектуються в центральну точку шестикутника (див. рис. 1):

Мал. 1. Проекція колірного куба
Щоб за допомогою цієї моделі можна було закодувати всі кольори, доступні в RGB-моделі, необхідно додати вертикальну вісь світла (або інтенсивності) (I). У результаті виходить шестигранний конус (Рис. 2, Рис. 3):


Мал. 2. Піраміда HSI (вершини)
У цій моделі колірний тон (H) задається кутом щодо осі червоного кольору, насиченість (S) характеризує чистоту кольору (1 означає чистий колір, а 0 відповідає відтінку сірого). При нульовому значенні насиченості тон немає сенсу і визначено.


Мал. 3. Піраміда HSI
У Табл. 3 показано розкладання зображення по компонентах HSI (білі пікселі в каналі тону відповідають нульовій насиченості):
Табл. 3. Колірний простір HSI


Вважається, що для підвищення якості кольорових зображень найбільш ефективно застосовувати процедуру еквалізації каналу інтенсивності. Саме це й продемонстровано в Табл. 4
Табл. 4. Еквалізація різних колірних каналів


Сподіваюся, цей матеріал здався вам щонайменше цікавим, як максимум корисним. Дякую.

ПОРІВНЯННЯ АЛГОРИТМІВ ЕКВАЛІЗАЦІЇ

ГІСТОГРАМ НАПІВТОНОВИХ ЗОБРАЖЕНЬ

1" 2 Александровська А.А., Маврін Є.М.

1 Олександрівська Ганна Андріївна – студент магістратури; Маврін Євген Михайлович - студент магістратури, кафедра інформаційних системта телекомунікацій,

факультет інформатики та систем управління, Московський державний технічний університет ім. н.е. Баумана, м. Москва

Анотація: у цій статті проводиться порівняння алгоритмів обробки цифрових зображень, а саме алгоритмів гістограмної еквалізації. Розглядаються три алгоритми: глобальної гістограмної еквалізації (НЕ), адаптивної гістограмної еквалізації (АНЕ), адаптивної еквалізації гістограми з обмеженням контрастності (СЬАН). Результат роботи, описаної у статті – візуальне порівняння роботи алгоритмів на однакових зображеннях.

Ключові слова: гістограма зображення, гістограмна еквалізація зображень, ЦОІ, комп'ютерний зір, АНЕ, СЬАН.

Для підвищення якості зображення необхідно збільшити діапазон яскравості, контрастність, різкість, чіткість . У сукупності ці параметри може покращити еквалізацію гістограми зображення. При визначенні контурів об'єктів у більшості випадків достатньо даних, які містяться у напівтоновому зображенні. Напівтонове зображення - зображення, що містить інформацію лише про яскравість, але не про колір пікселів. Відповідно, побудову гістограми доцільно проводити для напівтонового зображення.

Нехай аналізоване зображення складається з пікселів з інтенсивністю (яскравістю) г в діапазоні від 0 до 2Ьрр, де Ьрр - кількість біт, виділене для кодування яскравості одного пікселя. У більшості кольорових моделей для кодування

яскравості одного кольору одного піксела потрібно 1 байт. Відповідно, інтенсивність пікселя визначена на множині від 0 до 255 . Графік залежності кількості пікселів на зображенні з інтенсивністю г до інтенсивності називається гістограмою зображення. На рис. 1 представлений приклад тестових зображень та гістограм, побудованих на основі цих зображень:

Мал. 1. Тестові зображення та їх гістограми

Очевидно, що, вивчивши відповідну гістограму, можна зробити висновки про вихідне зображення. Наприклад, гістограми дуже темних зображень характеризуються концентрацією ненульових значень гістограми біля нульових рівнів яскравості, а світлих зображень навпаки - все ненульові значення зібрані у правій частині гістограми.

Алгоритми еквалізації гістограми є популярними алгоритмами для поліпшення напівтонового зображення, що обробляється. Загалом, HE-алгоритми (Histogram Equalization) мають порівняно невисоку обчислювальну вартість і показують високу ефективність. Суть роботи даного типуалгоритмів полягає в регулюванні рівнів напівтонового зображення відповідно до функції розподілу ймовірності даного зображення (1) і, як наслідок, збільшується динамічний діапазон розподілу яскравості. Це призводить до покращення візуальних ефектів,

таких як: контраст яскравості, різкість, чіткість.

p(i) = -, i = 0. .255, п

де p(i) - ймовірність появи пікселя яскравістю i, нормалізована функція гістограми вихідного зображення, координати пікселя оброблюваного зображення, g(k) - еквалізоване зображення .

Алгоритми еквалізації гістограми поділяють на два типи: локальна (адаптивна) еквалізація гістограми та глобальна еквалізація гістограми. У глобальному методі будується одна діаграма та проводиться еквалізація гістограми всього зображення цілком (рис. 3 а). У локальному методі (рис. 3б) проводиться побудова великої кількості гістограм, де кожна гістограма відповідає лише частини зображення, що обробляється. За такого методу покращується локальний контраст

зображення, що дозволяє загалом отримати кращі результати обробки.

Алгоритми локальної обробки можна розділити на такі типи: блоки локальної обробки, що перекриваються, блоки локальної обробки, що не перекриваються, і блоки локальної обробки, що частково перекриваються (рис. 2).

Мал. 2. Ілюстрація роботи різних типівалгоритмів локальної обробки зображення: а) блоки локальної обробки, що перекриваються, б) блоки локальної обробки, що не перекриваються, в) частково перекриваються блоки локальної обробки

Алгоритм блоків, що перекривають, дає найкращий результатобробки, але є найповільнішим серед перерахованих. Алгоритм блоків, що не перекриваються - навпаки, вимагає менший час на обробку при інших рівних, але так як оброблювані блоки не накладаються один на одного, можливі різкі перепади яскравостей на підсумковому зображенні. Компромісним рішенням є алгоритм блоків, що частково перекриваються. До недоліків адаптивних алгоритмів еквалізації гістограм відноситься надсилення (over-amplification) параметрів зображення та можливе за рахунок цього збільшення шумів на підсумковому зображенні.

Поліпшеним варіантом вищерозглянутого алгоритму є алгоритм адаптивної еквалізації гістограми з обмеженням контрастності (contrast limited adaptive histogram equalization – CLAHE) (рис. 4в). Головною особливістю даного алгоритму є обмеження

діапазону гістограми на основі аналізу значень яскравості пікселів в блоці (2), що обробляється, тим самим результуюче зображення виглядає більш природним і менш зашумленим .

де add - коефіцієнт збільшення значення функції гістограми, пс - кількість пікселів, що перевищують порогове значення. Ілюстрацію зміни гістограми наведено на малюнку 3.

Мал. 3. Обмеження діапазону гістограми в алгоритмі CLAHE

Варто відзначити, що в класичному алгоритмі СЛІБ використовується білінійна інтерполяція для усунення кордонів між оброблюваними блоками.

Мал. 4. Результати роботи алгоритмів еквалізації гістограм: а) глобальна еквалізація гістограми (НЕ); б) адаптивна еквалізація гістограми (АНЕ);

При візуальному порівнянні результатів обробки найкращим методом є CLAHE (рис. 3в). На зображенні, обробленому даним методом, менше шуму, ніж на зображенні, обробленим методом AHE, а також яскравість контрастність більш природна. Порівняно із зображенням, обробленим методом глобальної еквалізації, метод CLAHE підвищує чіткість дрібних і розмитих деталей оброблюваного зображення, а також підвищує контрастність, але не так перебільшено, як у разі виконання методу AHE. Також нижче наведено таблицю оцінки часу виконання аналізованих методів у середовищі програмування MATLAB 2016.

Таблиця 1. Оцінка часу виконання аналізованих

Час виконання

Назва програми з Час виконання

методу аналізованим методом, c методу, c

CLAHE 0.609 0.519

Список литературы

1. Чичварін Н.В. Виявлення та розпізнавання сигналів // Національна бібліотека ім. н.е. Баумана [ Електронний ресурс] 2016, Режим доступу: https://ua.bmstu.wiki/Корекція_яскравості_і_контрастності_ зображень (дата звернення: 03.05.2019).

2. Гонзалез Р.К. , Вудс Р.Є. . Digital Image Processing, 3-е видання, Нью-Джерсі: Пірсон Ед'юкейшн, 2008. 950 с.

3. Гупта З., Каур Ю. . Review of Different Local and Global Contrast Enhancement Technology for Digital Image // International Journal of Computer Applications [Електронний ресурс] 2014, URL: https://pdfs.semanticscholar.org/7fb1/bf8775a1a1eaad9b3d1f4 5bc83ad5. 2019).

4. Ма Дж., Фан Кс. , Янг С. Кс. , Занг Кс. , Зцу Кс. . Contrast Limited Adaptive Histogram Equalization Based Fusion for Underwater Image Enhancement // Preprints [Електронний ресурс] 2017, URL: https://www. preprints. org/manuscript/201703.0086/v 1 (Дата звернення: 3.05.2019).

Попередня обробка зображення-процес поліпшення якості зображення, що ставить за мету отримання на основі оригіналу максимально точного та адаптованого для автоматичного аналізу зображення.

Серед дефектів цифрового зображення можна виділити такі види:

• Цифровий шум
• Колірні дефекти (недостатні або надмірні яскравість та контраст, неправильний колірний тон)
• Розмитість (розфокусування)

Методи попередньої обробки зображень залежать від завдань досліджень і можуть включати такі види робіт:

Фільтрування зашумлених зображень

Цифровий шум зображення- дефект зображення, що вноситься фотосенсорами та електронікою пристроїв, що їх використовують. Для його придушення використовують такі методи:

Лінійне усереднення крапокпо сусідах - найпростіший вид алгоритмів видалення шуму. Основна ідея їх у тому, щоб брати середнє арифметичне значення точок в деякій околиці як нове значення точки.

Фізично така фільтрація реалізується за допомогою обходу пікселів зображення матрицею згортки, що має такий вигляд:

Приклад:

div – це коефіцієнт нормування, щоб середня інтенсивність залишалася не зрадою. Він дорівнює сумі коефіцієнтів матриці, прикладі div = 6.

Розмиття по Гаусу(різновид лінійного згортання) реалізується за допомогою обходу пікселів зображення матрицею згортки, що має такий вигляд:

Матриця 5×5 заповнюється за нормальним (гаусовим законом). Нижче наведена та сама матриця, де коефіцієнти вже є нормованими, так що div для цієї матриці дорівнює одному.

Від розміру матриці залежить сила розмиття.

У верхнього лівого пікселя не існує «сусідів» ліворуч і зверху, отже, нам нема на що множити коефіцієнти матриці!

Для вирішення цієї проблеми потрібне створення проміжного зображення. Ідея в тому, щоб створювати тимчасове зображення з розмірами

width + 2 gap/2, height + 2 gap/2, де

width і height – ширина і висота зображення, що фільтрується,

gap – розмірність матриці згортки.

У центрі зображення копіюється вхідна картинка, а краї заповнюються крайніми пікселями зображення. Розмиття застосовується до проміжного буфера, та був із нього витягується результат.

Медіанний фільтрявляє собою віконний фільтр, що послідовно сканує зображення, і повертає на кожному кроці один з елементів, що потрапили у вікно фільтра.

Пікселі, які «попадають» у вікно, сортуються в порядку зростання і вибирається значення, яке знаходиться посередині відсортованого списку.

Медіанний фільтр зазвичай використовується для зменшення шуму або згладжування зображення.

Для покращення чіткостізображення використовується наступний фільтр (div=1):

Морфологічні перетворення

Морфологічна фільтрація використовується для розширення (дилактації) чи звуження (ерозії) елементів бінарного зображення.

Дилатація(морфологічне розширення) – згортка зображення або виділення зображення деяким шаблоном. Шаблон може мати довільну форму та розмір. При цьому в ньому виділяється єдина провідна позиція(anchor), яка поєднується з поточним пікселем при обчисленні згортки.

Бінарне зображення – впорядкований набір (упорядкованої множини) чорно-білих точок (пікселів). Максимум інтенсивності пікселів зображення дорівнює одиниці, мінімум – нулю.

Застосування дилатації зводиться до проходу шаблоном по всьому зображенню та застосуванню оператора пошуку локального максимуму інтенсивності пікселів зображення, які накриваються шаблоном. Якщо максимум дорівнює 1 то точка, в якій знаходиться анкор шаблону буде біла. Така операція викликає зростання світлих областей на зображенні. На малюнку сірим кольором відмічені пікселі, які в результаті застосування дилатації будуть білими.

Ерозія(морфологічне звуження) – операція, обернена до дилатації. Дія ерозії подібна до дилатації, різниця лише в тому, що використовується оператор пошуку локального мінімуму. Якщо мінімум дорівнює 0, то точка, в якій знаходиться анкор шаблону, буде чорною. На малюнку праворуч сірим кольором відмічені пікселі, які стануть чорними внаслідок ерозії.

Операція « Дилатація» – аналог логічного «або», операція « Ерозія»- аналог логічного «і».

Результат морфологічних операцій багато в чому визначається шаблоном, що застосовується (структурним елементом). Вибираючи різний структурний елемент, можна вирішувати різні завдання обробки зображень:

• Шумопридушення.
• Виділення меж об'єкта.
• Виділення скелета об'єкта.

Корекція яскравості та контрасту зображень

Яскравістьє характеристикою, що визначає те, наскільки сильно кольори пікселів відрізняються від чорного кольору. Наприклад, якщо оцифрована фотографія зроблена в сонячну погоду, її яскравість буде значною. З іншого боку, якщо фотографія зроблена ввечері або вночі, її яскравість буде невелика.

Контрастє характеристикою того, наскільки великий розкид мають кольори пікселів зображення. Чим більший розкид мають значення кольорів пікселів, тим більший контраст має зображення.

За всіх поелементних перетвореннях відбувається зміна закону розподілу ймовірностей, що описує зображення. При лінійному контрастуванні зберігається вигляд густини ймовірності, проте у випадку, тобто. при довільних значеннях параметрів лінійного перетворення змінюються параметри щільності ймовірності перетвореного зображення.

Визначення імовірнісних характеристик зображень, що пройшли нелінійну обробку, є завданням аналізу. При вирішенні практичних завдань обробки зображень може бути поставлене зворотне завдання: за відомим видом щільності ймовірності p f(f) та бажаному виду p g(g) визначити необхідне перетворення g= ϕ( f), якому слід піддати вихідне зображення. У практиці цифрової обробки зображень часто корисний результат призводить перетворення зображення до рівноймовірного розподілу. У цьому випадку

де g min та g max – мінімальне та максимальне значення яскравості перетвореного зображення. Визначимо характеристику перетворювача, що вирішує це завдання. Нехай fі gпов'язані функцією g(n, m) = j( f(n, m)), а P f(f) та Pg(g) – інтегральні закони розподілу вхідний та вихідний яскравостей. Враховуючи (6.1), знаходимо:

Підставляючи цей вислів за умови імовірнісної еквівалентності

після простих перетворень отримуємо співвідношення

що представляє собою характеристику g(n, m) = j( f(n, m)) у розв'язуваній задачі. Відповідно (6.2) вихідне зображення проходить нелінійне перетворення, характеристика якого P f(f) визначається інтегральним законом розподілу вихідного зображення. Після цього результат наводиться до заданого динамічного діапазону з допомогою операції лінійного контрастування.

Таким чином, перетворення густини ймовірності передбачає знання інтегрального розподілу для вихідного зображення. Як правило, достовірних відомостей про нього немає. Апроксимація аналітичними функціями, внаслідок помилок апроксимації, може призводити до істотної відмінності результатів від необхідних. Тому в практиці обробки зображень перетворення розподілів виконують у два етапи.

У першому етапі вимірюється гістограма вихідного зображення. Для цифрового зображення, шкала яскравостей якого, наприклад, належить цілісному діапазону гістограма являє собою таблицю з 256 чисел. Кожне з них показує кількість точок у зображенні (кадрі), що мають цю яскравість. Розділивши всі числа цієї таблиці на загальний розмір вибірки, що дорівнює кількості відліків у зображенні, отримують оцінку розподілу ймовірностей яскравості зображення. Позначимо цю оцінку q p f(f q), 0 ≤ f q≤ 255. Тоді оцінка інтегрального розподілу виходить за такою формулою:

На другому етапі виконується саме нелінійне перетворення (6.2), що забезпечує необхідні властивості вихідного зображення. При цьому замість невідомого істинного інтегрального розподілу використовується його оцінка, що ґрунтується на гістограмі. З огляду на це всі методи поелементного перетворення зображень, метою яких є видозміна законів розподілу, отримали назву гістограмних методів. Зокрема, перетворення, при якому вихідне зображення має рівномірний розподіл, називається еквалізацією (вирівнюванням) гістограми.

Зазначимо, що процедури перетворення гістограми можуть застосовуватися як до зображення в цілому, так і до окремих його фрагментів. Останнє може бути корисним при обробці нестаціонарних зображень, характеристики яких суттєво різняться у різних галузях. У цьому випадку кращого ефекту можна досягти, застосовуючи гістограмну обробку до окремих ділянок – областей інтересу. Щоправда, зміниться значення відліків та всіх інших областей. На малюнку 6.1 наведено приклад еквалізації, виконаної відповідно до викладеної методики.

Характерною рисою багатьох зображень, одержуваних у реальних системах, є значна питома вага темних ділянок і порівняно мала кількість ділянок з високою яскравістю.

Рисунок 6.1 – Приклад еквалізації гістграми зображення: а) вихідне зображення та його гістограма в); б) перетворене зображення та його гістограма г)

Еквалізація гістограми призводить до вирівнювання інтегральних площ рівномірно розподілених діапазонів яскравостей. Порівняння вихідного (рисунок 6.1 а) та обробленого (рисунок 6.1 б) зображень показує, що перерозподіл яскравостей, що відбувається при обробці, призводить до покращення візуального сприйняття.