Etkili Alt Piksel Evrişimli Sinir Ağı Süper Çözünürlük Yaklaşımı

Abstract

Tek görüntü süper çözünürlüğü, yüksek çözünürlüklü bir görüntüyü karşılık gelen düşük çözünürlüklü görüntüden kurtarmayı amaçlayan görüntü restorasyonundaki önemli içeriklerden biridir. Bu içeriklere örnek olarak kameralı izleme sisteminde insan yüzünün çözünürlüğünün düşük olması nedeniyle bazen bir kişiyi tanımak zordur. Yüz tanıma dışında, süper çözünürlüklü uygulamalar genellikle tıbbi görüntüleme ve uydu görüntüleme gibi alanlarda bulunabilir. Derin sinir ağlarına dayalı modeller tek görüntü süper çözünürlüğü için hem yeniden yapılandırma doğruluğu hem de hesaplama performansı açısından büyük başarı elde etmektedir. Bu yöntemlerde, düşük çözünürlüklü giriş görüntüsü, yeniden yapılandırmadan önce tek bir filtre, genellikle bikübik enterpolasyon kullanılarak yüksek çözünürlüklü alana yükseltilir. Süper çözünürlük işleminin yüksek çözünürlük alanında gerçekleştirildiği anlamına gelir. Bunun optimalin altında olduğunu ve hesaplama karmaşıklığı eklediğini gösteriyoruz. Bu yazıda görüntülerin gerçek zamanlı süper çözünürlük yapabilen evrişimli sinir ağını sunulmaktadır. Bu işlemleri gerçekleştirebilmek için, öznitelik haritalarının düşük çözünürlüklü görüntü uzayında çıkarıldığı yeni bir evrişimli sinir ağı mimarisi önerilmektedir. Ek olarak, son düşük çözünürlük özellik haritalarını yüksek çözünürlük çıktısına yükseltmek için bir dizi yükseltme filtresini öğrenen verimli bir alt piksel evrişim katmanı sunulmaktadır.