Нейросеть от Nvidia эффективно борется с шумом на изображениях
Пример того, как нейросеть от Nvidia обрабатывает снимки, сделанные при помощи МРТ и телескопа
© Timo Aila et al.
Cпециалисты компании Nvidia, Университета Аалто и Массачусетского технологического института создали нейросеть, которая улучшает качество фотографий почти без искажений. Новый метод был представлен на Международной конференции по машинному обучению ICML, которая проходила в Стокгольме (Швеция). Препринт статьи с подробным изложением нового метода исследователи разместили на arXiv.Org.
В предыдущих подобных работах нейросеть обучалась восстанавливать фотографии, определяя разницу между парами изображений – с шумом и без. Новый метод отличается тем, что нейросети показывали только изображения с шумом. Тем не менее, она может устранять дефекты и автоматически улучшать качество фотографий.
В начале работы над методом очистки изображений от шума исследователи добавляли на них гауссовский шум. Он характеризуется равномерной спектральной плотностью и нормально распределенным значением амплитуды помех. Всего в обучающей выборке было 50 000 изображений размером 256x256 пикселей. Работа с 30-слойной остаточной нейросетью RED30 привела специалистов к неожиданному выводу: они поняли, что использовать для обучения чистые изображения не нужно.
Для дальнейших тестов исследователи использовали другую сверточную нейросеть — U-net, которая обучалась в десять раз быстрее при тех же результатах. В дальнейшем они добавляли на изображения другие виды шума — Пуассоновский, Бернулли и так далее. Все следующие тесты подтвердили, что гипотеза о том, что чистые изображения нейросети не нужны, верна.
Созданный метод можно использовать не только для обычных фотографий, но и для улучшения МРТ-снимков или сделанных космическими телескопами изображений. Однако специалисты отмечают, что в их методе есть и минусы: например, нейросеть не может воссоздать объекты, которых не было в наборе тренировочных изображений. «Но это ограничение относится в равной степени и к обучению на основе чистых изображений», — тут же оговариваются ученые.
Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.