Notice
Recent Posts
Recent Comments
Today
Total
01-26 19:30
Link
๊ด€๋ฆฌ ๋ฉ”๋‰ด

Partially Committed

Zero-DCE ์— Multi-scale processing ์„ ์ ์šฉํ•ด๋ณด์•˜๋‹ค..#1 ๋ณธ๋ฌธ

๐Ÿ‘จ‍๐Ÿ‘ง‍๐Ÿ‘ฆ ํ™œ๋™/Low-light Image enhancement(์กธ์—…์ž‘ํ’ˆ)

Zero-DCE ์— Multi-scale processing ์„ ์ ์šฉํ•ด๋ณด์•˜๋‹ค..#1

WonderJay 2023. 5. 18. 23:20
728x90
๋ฐ˜์‘ํ˜•
SMALL

  ๋‚ด์ผ ์žˆ์„ ์กธ์—…๋ฏธํŒ…์„ ๋Œ€๋น„ํ•˜์—ฌ, ๋‚ด์šฉ์„ ์ •๋ฆฌํ•  ๊ฒธ ์˜์‹์˜ ํ๋ฆ„๋Œ€๋กœ ์ž‘์„ฑํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค..

 

  Low-light image enhancement ๋ผ๋Š” ์ฃผ์ œ๋กœ ์กธ์—… ์ž‘ํ’ˆ์„ ์‹œ์ž‘ํ•œ ์ง€๋„ ๊ฝค ๋งŽ์ด ์ง€๋‚ฌ๋‹ค.. ๋ฒŒ์จ ๋‚ด์ผ์ด 6๋ฒˆ์งธ ์กธ์ž‘ ๋ฏธํŒ…์ด๋‹ค.. ์ค‘๊ฐ„๊ณ ์‚ฌ ๋๋‚˜๊ณ , ๋งˆ์Œ๋„ ๋Š˜์–ด์ง€๊ธฐ๋„ ํ•˜๊ณ  ์—ฌ๊ธฐ์ €๊ธฐ ์ฝ”ํ…Œ๋„ ๋ณด๋Ÿฌ๋‹ค๋‹ˆ๊ณ  ๊ณผ์™ธ๋„ ํ•˜๊ณ  ๋™์•„๋ฆฌ ๊ณผ์ œ๋„ ํ•˜๋‹ค๋ณด๋‹ˆ ์‹œ๊ฐ„์ด ๋„ˆ๋ฌด ๋ถ€์กฑํ•จ์„ ์ ˆ์‹คํžˆ ๋Š๋ผ๊ณ  ์žˆ๋‹ค ๐Ÿ˜ข ์ด๋ฒˆ ๋ฏธํŒ…์€ ์ •๋ง ๊ธ‰ํ•˜๊ฒŒ ์ค€๋น„ํ–ˆ๋Š”๋ฐ... ๋‹ค์Œ์—๋Š” ์กฐ๊ธˆ ๋” ๊ณ„ํš์ ์œผ๋กœ ์‹œ๊ฐ„์„ ์จ์•ผ๊ฒ ๋‹ค.

 

   ์—ฌํŠผ ์ง€๊ธˆ๊นŒ์ง€ ํ•œ ๋‚ด์šฉ์„ ๊ฐ„๋‹จํ•˜๊ฒŒ ์ •๋ฆฌํ•ด๋ณด์ž. 

์ฃผ์ œ๋Š” Low-light image enhancement ์œผ๋กœ, ์ €์กฐ๋„ ์˜์ƒ์„ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์œผ๋กœ ๊ฐœ์„ ํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๋ฌผ๋ก  ํ•™๋ถ€ ๊ณผ์ •์ด๋ฏ€๋กœ ์•„์˜ˆ ์ƒˆ๋กœ์šด ๋ชจ๋ธ์„ ๊ฐœ๋ฐœํ•˜๋Š” ๊ฒƒ์€ ์‰ฝ์ง€ ์•Š์€ ์ผ์ด๊ธฐ ๋•Œ๋ฌธ์— SOTA (์ด๋ฅธ๋ฐ” ์ž˜๋‚˜๊ฐ€๋Š”) ๋ชจ๋ธ์„ baseline model ๋กœ ์„ ์ •ํ•œ ๋‹ค์Œ, ๋‚˜์˜ ์•„์ด๋””์–ด๋ฅผ ์•ฝ๊ฐ„ ์ฒจ๊ฐ€ํ•˜์—ฌ ์กฐ๊ธˆ์˜ ์„ฑ๋Šฅ ๊ฐœ์„ ์„ ์ด๋ค„๋‚ด๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ์ด๋‹ค.

 


์ง€๊ธˆ๊นŒ์ง€์˜ ์‹œํ–‰์ฐฉ์˜ค๋“ค...

  [1~2 ๋ฒˆ์งธ ๋ฏธํŒ…] ๋…ผ๋ฌธ ๋ฆฌ๋”ฉ

  [2~3 ๋ฒˆ์งธ ๋ฏธํŒ…] ๋…ผ๋ฌธ ๊ตฌํ˜„ (Pytorch)  // ์—ฌ๊ธฐ๊นŒ์ง€๋งŒ ํ•ด๋„ ์ •๋ง ์žฌ๋ฐŒ์—ˆ๋‹ค..

  [4 ๋ฒˆ์งธ ๋ฏธํŒ…] Zero-DCE ๋ชจ๋ธ์˜ ๋ฌธ์ œ์  (1. ์ฑ„๋„ ๋ณ€ํ™” 2. ๋…ธ์ด์ฆˆ ์ƒ์„ฑ) ์„ ๋ฐœ๊ฒฌํ•˜๊ณ , ์ด๋ฅผ ๊ฐœ์„ ํ•˜๊ณ ์ž Loss ๋ฅผ ์ด๊ฒƒ์ €๊ฒƒ ์ฒจ๊ฐ€ํ•ด๋ด„(HSV Loss, Edge Loss)  -> ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋Š” ์—†์—ˆ์Œ ใ…œใ…œ

  [5 ๋ฒˆ์งธ ๋ฏธํŒ…] Light-Enhancement Curve ๋ฅผ ๋” Dynamic ํ•œ range ๋ฅผ ๊ฐ€์ง€๋„๋ก ๋ณ€๊ฒฝํ•ด๋ด„. -> ์•„~~~์ฃผ ์•ฝ๊ฐ„์˜ PSNR ์ด ์ฆ๊ฐ€ํ•˜๋Š” ๊ฒƒ ๊ฐ™๊ธด ํ•˜๋‚˜ ํฐ.. ์˜๋ฏธ๋Š” ์—†๋Š” ๊ฒƒ ๊ฐ™์Œ ใ…œใ…œ

์ธ๊ณต์ง€๋Šฅ์€ ์ •๋ง ์–ด๋ ต๋‹ค ์–ด๋ ค์›Œ...

 

๋‹ค์‹œ ์ดˆ์‹ฌ์œผ๋กœ ๋Œ์•„๊ฐ€์„œ Zero-DCE ์˜ ์ „์ฒด์ ์ธ ๊ตฌ์กฐ๋ฅผ ์‚ดํŽด๋ณด์•˜๋‹ค.

 

6์ฐจ ๋ฏธํŒ… ๋ฐœํ‘œ์ž๋ฃŒ ์ค‘ 1๋ฉด

-  Input Image ๊ฐ€ ์ฃผ์–ด์ง€๋ฉด, Input Image ๋กœ๋ถ€ํ„ฐ Parameter Map An ์„ ์ถ”์ถœํ•œ๋‹ค. (DCE Net)

-  An ์€ Light - enhancement Curve ์— ์‚ฌ์šฉ๋œ๋‹ค.

-  ํ”ฝ์…€ ๋ณ„, ์ฑ„๋„ ๋ณ„๋กœ ์ถ”์ •๋˜๋Š” An ์„ LE-Curve ์— Iterative ํ•˜๊ฒŒ ์ ์šฉ์‹œ์ผœ์„œ ์ตœ์ข…์ ์ธ Enhanced Image ๋ฅผ ์–ป์–ด๋‚ธ๋‹ค.

 

  ์ฆ‰, Zero-DCE ๋Š” Gamma correction ์„ pixel ๋ณ„๋กœ ์ˆ˜ํ–‰ํ•œ๋‹ค๊ณ  ํ•  ์ˆ˜ ์žˆ๊ฒ ๋‹ค. ๊ต์ˆ˜๋‹˜์ด ์ด์ „์— ์กฐ์–ธํ•ด์ฃผ์‹  ๋‚ด์šฉ์„ ์ƒ๊ธฐํ•ด๋ณด๋ฉด..

 

"  Gamma correction ์€ global ํ•˜๊ฒŒ ์ ์šฉ๋˜๋Š” ๊ฒƒ์ธ๋ฐ... pixel ๋ณ„๋กœ ์ ์šฉํ•œ๋‹ค๋Š” ๊ฒŒ ์กฐ๊ธˆ ๋ชจ์ˆœ์ด ์žˆ์„ ์ˆ˜ ์žˆ๋‹ค. LE-Curve ์— ์กฐ๊ธˆ ๋” Local ์ ์ธ ํŠน์„ฑ์„ ๋ฐ˜์˜ํ•  ์ˆ˜ ์žˆ๋„๋ก learnable ํ•œ parameter ์„ ์ถ”๊ฐ€ํ•œ๋‹ค๋˜๊ฐ€.. OO ํ•™์ƒ์€, ์ด๋Ÿฌํ•œ ๋ฐฉํ–ฅ์œผ๋กœ ๊ณ ๋ฏผํ•ด๋ณด๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™๋„ค์š”. "

 

  ๊ทธ๊ฑฐ.. ์–ด๋–ป๊ฒŒ ํ•˜๋Š”๊ฑด๋ฐ..?

   ์ด๋ฅผ ์–ด๋–ป๊ฒŒ ์ˆ˜ํ–‰ํ•˜๋ฉด ์ข‹์„ ์ง€ ์ •๋ง 2์ฃผ ๋™์•ˆ ๊ฐ„๊ฐ„ํžˆ.. ๊ณ ๋ฏผํ–ˆ๋‹ค. ์‹œํ—˜๊ณต๋ถ€๋„ ํ•ด์•ผํ–ˆ์œผ๋‹ˆ๊นŒ.. ๊ทผ๋ฐ ์ •๋ง ๋ชจ๋ฅด๊ฒ ๋‹ค.. ๐Ÿ˜ข ์ผ๋‹จ ๋จธ๋ฆฌ๋ฅผ ์—ด์‹ฌํžˆ ๊ตด๋ ค์„œ(chatGPT ์™€ ํ•จ๊ป˜), 2๊ฐ€์ง€ ์ •๋„ ์‹œ๋„ํ•ด๋ณผ๋งŒํ•œ ๋ฐฉ๋ฒ•์„ ๋– ์˜ฌ๋ ธ๋‹ค.

 

  1. multi-scale feature

  2. Clustering

 

   ๋‹คํ–‰์ด๋‹ค.. ๋ฐœํ‘œํ•  ๋‚ด์šฉ์ด ์ƒ๊ฒจ์„œ

 


 

1. Multi-scale (pyramid)

  ๋‹ค์‹œ ์–ธ๊ธ‰ํ•˜๋ฉด Zero-DCE ๋Š” Input image ๋กœ๋ถ€ํ„ฐ ์–ป์–ด์ง„ Pixel-wise Parameter map ์„ LE-Curve ์— ๋ฐ˜๋ณต์ ์œผ๋กœ ์ ์šฉํ•˜๋ฉฐ Enhanced image ๋ฅผ ์–ป์–ด๋‚ด๋Š” ๊ฒƒ์ด๋‹ค. Parameter map ์„ ์‹œ๊ฐํ™”ํ•˜๋ฉด ์•„๋ž˜์™€ ๊ฐ™์€๋ฐ..

  ๋งˆ์น˜ Image ์˜ ํŠน์ง•์ด ์ถ”์ถœ๋˜๋Š” ๊ฒƒ ๊ฐ™๋‹ค๊ณ  ๋Š๊ผˆ๋‹ค..!  

์—ฌ๊ธฐ์„œ, ๋‹ค๋ฅธ ์•„์ด๋””์–ด๊ฐ€ ํ•˜๋‚˜ ๋” ์ƒ๊ฒผ๋Š”๋ฐ..

Attention ์„ ์ ์šฉํ•ด๋ณด๋ฉด ... ์–ด๋–จ๊นŒ??? 

๋‹ค์Œ ๋ฏธํŒ… ๋•Œ ํ•œ๋ฒˆ ํ•ด๋ณด๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™๋‹ค..

 

  ๊ทผ๋ฐ Zero-DCE ์˜ Input Size ๋Š” ๋‹ค์–‘ํ•˜์ง€๋งŒ, ๋‚ด๋ถ€์—์„œ Training ๋  ๋•Œ๋Š” 256 ์œผ๋กœ fix ํ•œ๋‹ค. ์•„๋ฌด๋ž˜๋„ ๋” ์ž‘์€ ํฌ๊ธฐ๋กœ resize ํ•˜๋Š” ๊ณผ์ •์—์„œ pixel ๊ฐ„ ๊ด€๊ณ„๊ฐ€ ์œ ์‹ค๋œ๋‹ค๋˜๊ฐ€ ํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ด๊ณ , ์ด๋Ÿฌํ•œ ์ ์ด parameter map ์˜ ์ •๊ตํ•จ์„ ์กฐ๊ธˆ ๋” ๋–จ์–ด๋œจ๋ฆฌ๋Š” ๊ฒƒ์€ ์•„๋‹๊นŒ?

 

  Input size ๊ฐ€ ํฌ๋ฉด ํ•ด๊ฒฐ๋˜๋Š” ๋ฌธ์ œ์ผ๊นŒ..? ์Œ.. ์ฐจ๋ผ๋ฆฌ ๋‹ค์–‘ํ•œ scale ๋กœ parameter map ์„ ๋ฝ‘์•„๋‚ด๊ณ , ์ด๋ฅผ ๋งˆ์ง€๋ง‰์— merge ํ•œ ๋’ค์— ์‚ฌ์šฉํ•˜๋ฉด ๋” ์ข‹์ง€ ์•Š์„๊นŒ..?

 

  Input image ์˜ scale ์„ ๋‹ค์–‘ํ•˜๊ฒŒ ์กฐ์ •ํ•˜๊ณ , scale ๋ณ„๋กœ parameter map ์„ ์ถ”์ •ํ•œ ๋‹ค์Œ ๋งˆ์ง€๋ง‰์— ํ•˜๋‚˜์˜ parameter map ์œผ๋กœ merge ํ•˜์—ฌ ์ตœ์ข…์ ์ธ parameter map ์„ ์–ป๋Š” ๊ณผ์ •์ด๋‹ค. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด, ๋‹ค์–‘ํ•œ ์Šค์ผ€์ผ์—์„œ ์–ป์€ parameter map ์˜ ํŠน์ง•์ด ๋ชจ๋‘ ๋ฐ˜์˜๋  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ์„ธ๋ถ€์ ์ธ ํŠน์ง•๋ถ€ํ„ฐ ๋„“์€ ๋ฒ”์œ„์˜ ํŠน์ง•๊นŒ์ง€ ๋ชจ๋‘ ํฌ์ฐฉํ•˜๊ฒŒ ํ•ด์ฃผ๊ธฐ ๋•Œ๋ฌธ์— ์ด๋ฏธ์ง€ ๋‚ด๋ถ€์˜ detail ์„ ์กฐ๊ธˆ ๋” ์ž˜ ๋ฐ˜์˜ํ•  ์ˆ˜ ์žˆ๋Š” parameter map ์„ ์–ป์„ ์ˆ˜ ์žˆ์„ ๊ฒƒ์ด๋ผ๊ณ  ์˜ˆ์ƒ๋œ๋‹ค!

 

 

  Scale factor ์€ list ๋กœ [0.25, 0.5, 0.75, 1.25, 1.5] ์œผ๋กœ ์ผ๋‹จ ์ง€์ •ํ•ด๋ณด์•˜์œผ๋ฉฐ ๊ฐ๊ฐ์— ๋Œ€ํ•œ parameter map ์„ ์–ป์€ ๋’ค, input image size ๋กœ interpolation ํ•œ ๋’ค์— ์›๋ณธ ์ด๋ฏธ์ง€์— ๋”ํ•˜๋„๋ก ๊ตฌํ˜„ํ•˜์˜€๋‹ค.

 

...

 

์•„...!

 

์ƒ๊ฐํ•ด๋ณด๋‹ˆ๊นŒ x_r ์€ -1 ์—์„œ 1 ์‚ฌ์ด์˜ ๊ฐ’์„ ๊ฐ€์ ธ์•ผ๋งŒ ํ•˜๋Š”๋ฐ.. ๋‹จ์ˆœํžˆ ๋ˆ„์ ์‹œํ‚ค๋ฉด -1~1 ์„ ์ดˆ๊ณผํ•˜๊ฒ ๊ตฌ๋‚˜.. ๐Ÿ˜ข

 

๊ทธ๋Ÿฌ๋ฉด.. x_r ์„ merge ํ•œ ๋‹ค์Œ์— tanh ๋ฅผ ์ด์šฉํ•˜์—ฌ scaling ํ•ด์ฃผ์–ด์•ผ๊ฒ ๋‹ค..

 

( ์—ด์‹ฌํžˆ training ์ค‘...)

 

 

์œผ์Œ..

 

๊ฒฐ๊ณผ๊ฐ€ ๋ณ„๋กœ ์ข‹์ง€ ์•Š๋‹ค..๐Ÿ˜ข

 

Multiscale ์ฒ˜๋ฆฌ ๋ฐฉ๋ฒ•์ด ์ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ํ•ต์‹ฌ์ ์ธ ๋ฐฉ๋ฒ•์€ ์•„๋‹Œ ๋“ฏ ํ•˜๋‹ค.

 

๊ทธ๋ž˜๋„ ์•ˆ ํ•œ ๊ฒƒ ๋ณด๋‹ค๋Š” ์„ฑ๋Šฅ์ด ์กฐ~~๊ธˆ ๋” ๊ดœ์ฐฎ์€ ๊ฒฝํ–ฅ์„ ๋ณด์ธ๋‹ค. (ํ•™์Šต ์†๋„๋Š” ์กฐ๊ธˆ ์ €ํ•˜๋จ)

 

๋‹ค๋ฅธ ๋ฐฉ๋ฒ•๊ณผ ์ด ๋ฐฉ๋ฒ•์„ ๊ฐ™์ด ์‚ฌ์šฉํ•˜๋ฉด ํšจ๊ณผ๊ฐ€ ๊ดœ์ฐฎ์„์ง€๋„..?

 

์ด์ œ ๊ทธ ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•์„ ์ฐพ๊ธฐ ์œ„ํ•ด ๊ณ ๋ฏผํ•ด์•ผ๊ฒ ๋‹ค. . .  


 

์˜์™ธ๋กœ ๊ต์ˆ˜๋‹˜์˜ ์ฝ”๋ฉ˜ํŠธ๊ฐ€ ๊ธ์ •์ ์ด์—ˆ๋‹ค...

 

728x90
๋ฐ˜์‘ํ˜•
LIST
Comments