Zero-DCE 에 Multi-scale processing 을 적용해보았다 #2

이전글

Zero-DCE 에 Multi-scale processing 을 적용해보았다..#1 (tistory.com)

Zero-DCE 에 Multi-scale processing 을 적용해보았다..#1

---

벌써 7번째 졸업 작품 미팅이라니 시간이 정말 빠르다.

 

시작하기에 앞서 6번째 발표 내용을 간단히 요약하면,

   기존의 Zero-DCE 의 Frame work 를 보면 Input image 로부터 DCE-Net 을 통해 Channel 별 parameter map 을 adaptive 하게 얻어낸다. 이러한 parameter map 은 곧 Image 의 feature 와 같다. Zero-DCE 의 가장 큰 장점인 경량성을 최대한 유지하면서도 성능을 약간이라도 개선하는 것이 목적이다.

   

  나는 Input image 로부터 image feature 을 조금 더 많은 정보를 포함하도록 modify 함으로써, 성능을 개선할 수 있을 것이라는 가설을 세웠으며 이를 위해서 Multi-scale 방법을 적용할 수 있다고 주장했다. 컴퓨터 비전 전반적인 영역에서 자주 사용하는 Image pyramid 기법에서 영감을 얻었는데, Input image 를 여러 scale 로 분할한 다음, 각각의 다른 scale 로부터 parameter map 을 얻어내고 이를 fusion 하여 사용하면 Image 의 크고 작은 detail 모두를 반영할 수 있을 것이라고 제안했다. 

 

  간단하게 5개의 스케일로 나누었고 (1.25, 1.0, 0.75, 0.5, 0.25), 이들을 하나로 합칠 때에는 그냥 element-wise 로 더한 다음 tanh 를 통해 scaling 하는 방법을 선택했다. 그 결과 성능은 아주 미약하게 증가하긴 했지만, 아직 의미있는 결과라고 말할 수준이라고 하긴 민망했다. 😅

 

  교수님의 코멘트를 계속 계속 생각해보았으며, 성능이 잘 안나온 이유는 여러 scale 을 하나로 합치는 과정에 문제가 있을 가능성이 있다고 판단했다. 단순히 더하는 방법이 좋지 않은 결과를 야기한 것 같다. 또한 스케일을 너무 많이 분할할 필요는 없을 수 있다고 이야기 해주신 점도 이번에 반영해보기로 하였다. + 라플라시안 피라미드에 대해서도 언급해주셨는데, 이 부분은 조금 더 고민이 필요할 듯 하다.

 

---

# 서로 다른 Scale 의 parameter map 을 어떻게 하나로 합칠 것인가?

  기존에는 bilinear interpolation 을 통해서 scale 을 하나로 맞춘 다음 그냥 element-wise 로 더하고 tanh 를 통해 rerange 해서 사용했는데, 이 방법은 효과적이지 못했던 것 같다. 내가 시도할 수 있는 다른 방법은 무엇이 있을까? 각각의 scale 에서 가장 특출난(?) 특징만 사용하기 위해 Max 값을 사용하면 어떨까..?

이런느낌..? 이 부분은 구현이 간단하니까.. 한번 해보고 성능을 확인해본 뒤에 포스팅해야겠다.

 

 

---

# 서로 다른 Scale 의 parameter map 에 대한 가중 평균을 적용하는 것은 어떨까?

  이 아이디어는 컴퓨터 비전 랩실에 석사 하시는 형이 조언해준 것인데...! 무슨 말이냐면, 각 스케일 별 가중치를 의미하는 변수를 하나 만들자는 거고 반영할 때 가중치를 이용한 평균을 사용하자는 것이다. 이때 가중치를 의미하는 변수는 학습 가능한 파라미터로 만들어서, Network 가 알아서 더 중요한 scale 의 정보를 반영하도록 하는 것이 좋을 것 같다. 학습 과정에서 각각의 scale 이 기여하는 정도를 동적으로 조절할 수 있도록 하자는 것이다. 😎

  그림으로 동작을 그려봤다..!