Процессор обработки изображений (ISP)
ISP (Image Signal Processor — процессор обработки сигнала изображения) — это специализированный аппаратный блок, который превращает «сырые» данные с матрицы камеры в готовое изображение. Сенсор сам по себе не формирует привычную нам картинку: он выдаёт массив чисел, описывающих количество света, попавшего на каждый светочувствительный элемент. В этих данных есть шумы, неправильные цвета и искажения, вносимые оптикой. Задача ISP — взять такой «сырой» поток и за один проход превратить его в качественное изображение, пригодное для показа, записи или дальнейшей обработки.
Обработка организована в виде конвейера (pipeline): данные последовательно проходят через ряд блоков, каждый из которых отвечает за свой этап. Конвейер разделён на несколько доменов — в зависимости от того, в каком виде на данном этапе представлено изображение. Ниже приведена общая схема и описан каждый блок.
Этапы обработки
На вход конвейера поступает сырое изображение с камеры (на схеме — справа вверху). После полной обработки на выходе получается готовое цветное изображение — результат работы ISP. Между ними данные проходят три группы блоков.
На вход конвейера поступает сырое изображение с камеры (на схеме — справа вверху). После полной обработки на выходе получается готовое цветное изображение — результат работы ISP. Между ними данные проходят три группы блоков.
Сбор статистики
Прежде чем корректировать изображение, ISP анализирует кадр и собирает по нему статистику. Эти данные нужны системам автоматического управления камерой: на их основе подстраиваются параметры съёмки следующих кадров.
Прежде чем корректировать изображение, ISP анализирует кадр и собирает по нему статистику. Эти данные нужны системам автоматического управления камерой: на их основе подстраиваются параметры съёмки следующих кадров.
Байеровский домен
На этом этапе изображение представлено в «сыром» байеровском виде: каждый пиксель сенсора несёт информацию только об одном цвете — красном, зелёном или синем — в соответствии с цветным фильтром Байера на матрице. Обработка здесь готовит данные к преобразованию в полноценное цветное (RGB) изображение.
На этом этапе изображение представлено в «сыром» байеровском виде: каждый пиксель сенсора несёт информацию только об одном цвете — красном, зелёном или синем — в соответствии с цветным фильтром Байера на матрице. Обработка здесь готовит данные к преобразованию в полноценное цветное (RGB) изображение.
RGB-домен
После демозаика изображение становится полноцветным, и дальнейшая обработка идёт в формате RGB. Это самый объёмный этап: здесь выполняются цветокоррекция, шумоподавление, повышение детализации, исправление искажений оптики и финальная подготовка кадра к выводу.
После демозаика изображение становится полноцветным, и дальнейшая обработка идёт в формате RGB. Это самый объёмный этап: здесь выполняются цветокоррекция, шумоподавление, повышение детализации, исправление искажений оптики и финальная подготовка кадра к выводу.
ISP совместно с видео-кодеком являются обязательными блоками для решений в области компьютерного зрения